Glossar · Testmethodik

Reliabilität: Wie zuverlässig misst ein Test?

Reliabilität beschreibt, wie zuverlässig ein Test misst, also wie frei ein Ergebnis von zufälligen Messschwankungen ist. Vereinfacht gefragt: Würde derselbe Test ein ähnliches Ergebnis liefern, wenn sich am Gemessenen nichts geändert hat?

ZuverlässigkeitTest-Retestinterne Konsistenz

Das Wichtigste

  • Reliabilität ist die Zuverlässigkeit einer Messung, nicht die Frage, ob das Richtige gemessen wird.
  • Wichtige Formen sind interne Konsistenz, Test-Retest-Reliabilität und Interrater-Reliabilität.
  • Ein Test kann zuverlässig und trotzdem wenig gültig sein. Er misst dann konsistent das Falsche.

Was Reliabilität meint

Jede Messung enthält einen Anteil Zufall. Reliabilität beschreibt, wie klein dieser zufällige Anteil ist, wie stabil ein Test also misst. Ein zuverlässiger Test liefert bei gleichen Bedingungen ähnliche Werte. Das ist eine notwendige Grundlage, denn wenn ein Ergebnis stark schwankt, ohne dass sich am Gemessenen etwas ändert, lässt sich schwer etwas darauf aufbauen.

Drei Formen, die man auseinanderhalten sollte

Die interne Konsistenz fragt, wie gut die Items einer Skala zusammenpassen, also ob sie dasselbe Merkmal in eine ähnliche Richtung erfassen. Ein häufiges Maß dafür ist Cronbachs Alpha, das Lee Cronbach 1951 beschrieb. Die Test-Retest-Reliabilität fragt, wie ähnlich die Ergebnisse ausfallen, wenn dieselbe Person den Test nach einiger Zeit erneut ausfüllt, ohne dass sich etwas geändert hat. Die Interrater-Reliabilität fragt, wie einig sich verschiedene Beurteiler sind, wenn sie dasselbe einschätzen. Diese Formen betreffen unterschiedliche Fragen und sind nicht austauschbar. Das internationale COSMIN-Rahmenwerk ordnet sie deshalb sauber getrennt ein.

Warum Cronbachs Alpha allein nicht reicht

Cronbachs Alpha wird oft als Beleg für Qualität herangezogen. David Streiner hat 2003 dargelegt, warum das zu kurz greift. Alpha misst die interne Konsistenz und hängt unter anderem von der Zahl der Items ab. Ein hoher Wert sagt nicht, dass ein Test das Richtige misst, und ein sehr hoher Wert kann sogar darauf hindeuten, dass Items sich zu stark ähneln. Pauschale Faustregeln wie eine bestimmte Schwelle, ab der ein Test angeblich gut ist, tragen ohne Bezug zum Messzweck und zum Kontext wenig. Deshalb nennen wir hier keine solche allgemeine Grenze.

Häufige Verwechslung

Reliabilität und Validität werden oft gleichgesetzt, sind aber zwei verschiedene Dinge. Ein Bild dazu: Eine Waage, die immer zwei Kilogramm zu viel anzeigt, ist sehr zuverlässig, denn sie wiederholt denselben Wert. Gültig ist sie trotzdem nicht, weil sie systematisch falsch liegt. Genauso kann ein Fragebogen konsistent messen und dabei am eigentlichen Merkmal vorbeigehen. Hohe Reliabilität ist eine Voraussetzung für Validität, aber kein Beweis dafür.

Bedeutung für Selbsttests auf medtests.de

Reliabilität erklärt, warum ein Ergebnis von Tag zu Tag etwas schwanken kann. Der Big-Five-Test etwa erfasst Ausprägungen, die nicht in Stein gemeißelt sind, und knappe Werte nahe der Mitte können beim Wiederholen leichter kippen. Auch beim Depressions-Test mit dem PHQ-9 und beim Angst-Test mit dem GAD-7 spiegelt ein Wert Ihr Erleben in einem Zeitfenster, das sich verändert. Beim Dissoziation-Test mit der DES-II tragen die deutschen Aussagen als Arbeitsübersetzung zusätzliche Unsicherheit. Solche Schwankungen sind kein Fehler, sie gehören zu jeder Messung. Ein einzelnes Ergebnis ist deshalb am besten als Momentaufnahme zu lesen.

Was der Begriff nicht bedeutet

Ein zuverlässiger Test ist nicht automatisch ein richtiger Test. Hohe Reliabilität beweist weder Validität noch eine Diagnose. Und ein hoher oder niedriger Wert bleibt ein Hinweis, den eine Fachperson einordnet. Ein Selbsttest dient der Orientierung und ersetzt keine ärztliche, psychotherapeutische oder diagnostische Abklärung.

Quellen

  • Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16(3), 297-334. DOI: 10.1007/BF02310555
  • Streiner, D. L. (2003). Starting at the beginning: an introduction to coefficient alpha and internal consistency. Journal of Personality Assessment, 80(1), 99-103. DOI: 10.1207/S15327752JPA8001_18
  • Mokkink, L. B. et al. (2010). The COSMIN study reached international consensus on taxonomy, terminology, and definitions of measurement properties. Journal of Clinical Epidemiology, 63(7), 737-745. DOI: 10.1016/j.jclinepi.2010.02.006

Häufige Fragen

Was bedeutet Reliabilität?

Reliabilität beschreibt, wie zuverlässig ein Test misst, also wie stark ein Ergebnis frei von zufälligen Messschwankungen ist. Vereinfacht: Würde derselbe Test unter gleichen Bedingungen ein ähnliches Ergebnis liefern, wenn sich am Gemessenen nichts geändert hat.

Was ist der Unterschied zwischen Reliabilität und Validität?

Reliabilität ist die Zuverlässigkeit der Messung, Validität die Frage, ob das Richtige gemessen wird. Ein Test kann zuverlässig immer wieder dasselbe messen und trotzdem am eigentlichen Merkmal vorbeigehen. Hohe Reliabilität ist eine Voraussetzung, aber kein Beweis für Validität.

Bedeutet ein hoher Cronbachs Alpha, dass ein Test gut ist?

Nein. Cronbachs Alpha ist ein Maß für die interne Konsistenz, also dafür, wie einheitlich die Items zusammenhängen. Ein hoher Wert allein sagt nichts darüber, ob der Test das Richtige misst, und pauschale Schwellen ohne Bezug zu Zweck und Kontext sind wenig aussagekräftig.

Was ist Test-Retest-Reliabilität?

Test-Retest-Reliabilität beschreibt, wie ähnlich die Ergebnisse ausfallen, wenn dieselbe Person den Test nach einiger Zeit erneut ausfüllt, ohne dass sich am Gemessenen etwas geändert hat. Sie ist etwas anderes als die interne Konsistenz, die sich auf einen einzelnen Messzeitpunkt bezieht.