Glossar · Testmethodik
Reliabilität: Wie zuverlässig misst ein Test?
Reliabilität beschreibt, wie zuverlässig ein Test misst, also wie frei ein Ergebnis von zufälligen Messschwankungen ist. Vereinfacht gefragt: Würde derselbe Test ein ähnliches Ergebnis liefern, wenn sich am Gemessenen nichts geändert hat?
Das Wichtigste
- Reliabilität ist die Zuverlässigkeit einer Messung, nicht die Frage, ob das Richtige gemessen wird.
- Wichtige Formen sind interne Konsistenz, Test-Retest-Reliabilität und Interrater-Reliabilität.
- Ein Test kann zuverlässig und trotzdem wenig gültig sein. Er misst dann konsistent das Falsche.
Was Reliabilität meint
Jede Messung enthält einen Anteil Zufall. Reliabilität beschreibt, wie klein dieser zufällige Anteil ist, wie stabil ein Test also misst. Ein zuverlässiger Test liefert bei gleichen Bedingungen ähnliche Werte. Das ist eine notwendige Grundlage, denn wenn ein Ergebnis stark schwankt, ohne dass sich am Gemessenen etwas ändert, lässt sich schwer etwas darauf aufbauen.
Drei Formen, die man auseinanderhalten sollte
Die interne Konsistenz fragt, wie gut die Items einer Skala zusammenpassen, also ob sie dasselbe Merkmal in eine ähnliche Richtung erfassen. Ein häufiges Maß dafür ist Cronbachs Alpha, das Lee Cronbach 1951 beschrieb. Die Test-Retest-Reliabilität fragt, wie ähnlich die Ergebnisse ausfallen, wenn dieselbe Person den Test nach einiger Zeit erneut ausfüllt, ohne dass sich etwas geändert hat. Die Interrater-Reliabilität fragt, wie einig sich verschiedene Beurteiler sind, wenn sie dasselbe einschätzen. Diese Formen betreffen unterschiedliche Fragen und sind nicht austauschbar. Das internationale COSMIN-Rahmenwerk ordnet sie deshalb sauber getrennt ein.
Warum Cronbachs Alpha allein nicht reicht
Cronbachs Alpha wird oft als Beleg für Qualität herangezogen. David Streiner hat 2003 dargelegt, warum das zu kurz greift. Alpha misst die interne Konsistenz und hängt unter anderem von der Zahl der Items ab. Ein hoher Wert sagt nicht, dass ein Test das Richtige misst, und ein sehr hoher Wert kann sogar darauf hindeuten, dass Items sich zu stark ähneln. Pauschale Faustregeln wie eine bestimmte Schwelle, ab der ein Test angeblich gut ist, tragen ohne Bezug zum Messzweck und zum Kontext wenig. Deshalb nennen wir hier keine solche allgemeine Grenze.
Häufige Verwechslung
Reliabilität und Validität werden oft gleichgesetzt, sind aber zwei verschiedene Dinge. Ein Bild dazu: Eine Waage, die immer zwei Kilogramm zu viel anzeigt, ist sehr zuverlässig, denn sie wiederholt denselben Wert. Gültig ist sie trotzdem nicht, weil sie systematisch falsch liegt. Genauso kann ein Fragebogen konsistent messen und dabei am eigentlichen Merkmal vorbeigehen. Hohe Reliabilität ist eine Voraussetzung für Validität, aber kein Beweis dafür.
Bedeutung für Selbsttests auf medtests.de
Reliabilität erklärt, warum ein Ergebnis von Tag zu Tag etwas schwanken kann. Der Big-Five-Test etwa erfasst Ausprägungen, die nicht in Stein gemeißelt sind, und knappe Werte nahe der Mitte können beim Wiederholen leichter kippen. Auch beim Depressions-Test mit dem PHQ-9 und beim Angst-Test mit dem GAD-7 spiegelt ein Wert Ihr Erleben in einem Zeitfenster, das sich verändert. Beim Dissoziation-Test mit der DES-II tragen die deutschen Aussagen als Arbeitsübersetzung zusätzliche Unsicherheit. Solche Schwankungen sind kein Fehler, sie gehören zu jeder Messung. Ein einzelnes Ergebnis ist deshalb am besten als Momentaufnahme zu lesen.
Was der Begriff nicht bedeutet
Ein zuverlässiger Test ist nicht automatisch ein richtiger Test. Hohe Reliabilität beweist weder Validität noch eine Diagnose. Und ein hoher oder niedriger Wert bleibt ein Hinweis, den eine Fachperson einordnet. Ein Selbsttest dient der Orientierung und ersetzt keine ärztliche, psychotherapeutische oder diagnostische Abklärung.
Quellen
- Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16(3), 297-334. DOI: 10.1007/BF02310555
- Streiner, D. L. (2003). Starting at the beginning: an introduction to coefficient alpha and internal consistency. Journal of Personality Assessment, 80(1), 99-103. DOI: 10.1207/S15327752JPA8001_18
- Mokkink, L. B. et al. (2010). The COSMIN study reached international consensus on taxonomy, terminology, and definitions of measurement properties. Journal of Clinical Epidemiology, 63(7), 737-745. DOI: 10.1016/j.jclinepi.2010.02.006
Verwandte Begriffe und passende Tests
Weitere Begriffe im Glossar
Passende Selbsttests