Cohens Kappa — der Zufalls-Check

Cohens Kappa — der Zufalls-Check

Was ist Cohens Kappa?

Cohens Kappa (κ) misst, wie stark zwei Personen übereinstimmen, die dasselbe Material unabhängig in Kategorien einsortieren (codieren) — bereinigt um die Übereinstimmung, die schon der Zufall erzeugt. κ = 1 heißt volle Übereinstimmung, κ = 0 nur zufällige, negative Werte bedeuten: schlechter als der Zufall.

Was zeigt dieses Tool? Du siehst eine Vierfeldertafel: die Kreuztabelle, die festhält, wie zwei Codierende (A und B) dieselbe Textstelle gleich oder verschieden bewertet haben. Grün sind die beiden Felder, in denen sie sich einig sind, rot die beiden, in denen sie sich widersprechen. Über die +/−-Knöpfe veränderst du jede Fallzahl, vier Presets laden die Klassiker. Darunter rechnen Kacheln live mit: die beobachtete Übereinstimmung p₀, die per Zufall erwartete pₑ, das fertige κ und die rohe Prozentzahl. Ein Farbband ordnet κ nach der bekanntesten Interpretationsskala ein — und das Preset „Kappa-Paradox" zeigt dir den Fall, in dem 91 % Übereinstimmung trotzdem nur ein mageres Kappa ergeben.

Warum reicht die Übereinstimmungsquote nicht?

Stell dir vor, du prüfst deine Codierung: Du und eine Kommilitonin habt 100 Interview-Stellen unabhängig danach bewertet, ob eine Kategorie zutrifft — „ja" oder „nein". In 80 von 100 Fällen seid ihr gleicher Meinung. Übereinstimmungsquote (der Anteil gleich codierter Stellen): 80 %. Klingt solide.

Der Haken: Ein Teil dieser 80 % wäre auch entstanden, wenn ihr blind geraten hättet. Wenn beide etwa gleich oft „ja" und „nein" vergeben, trefft ihr euch schon per Zufall in rund der Hälfte der Fälle. Genau diese Zufallsübereinstimmung rechnet Cohens Kappa heraus. Was übrig bleibt, ist die Übereinstimmung, die auf echtes gemeinsames Verständnis zurückgeht — und die ist bei denselben Zahlen deutlich kleiner:

Der Holsti-Koeffizient (die einfachste Übereinstimmungsformel: doppelte Zahl der Übereinstimmungen geteilt durch die Summe der Codierungen beider Personen) landet hier bei exakt demselben Wert wie die reine Prozentzahl — beide ignorieren den Zufall. Kappa zieht ihn ab und fällt deshalb auf 0,60. Dieselben Daten, drei Zahlen, eine ehrliche: Das ist der Grund, warum Gutachterinnen bei quantitativen Auswertungen einen zufallsbereinigten Wert sehen wollen und nicht bloß „80 %".

Cohens Kappa berechnen: ein Beispiel

Rechnen wir das Standard-Preset des Tools von Hand durch — dann siehst du, woher die 0,60 kommen:

1. Daten: 100 Textstellen, zwei Codierende, Frage je Stelle: „Kategorie trifft zu — ja oder nein?"
2. Tafel füllen: beide „ja" a = 40, beide „nein" d = 40, A ja / B nein b = 10, A nein / B ja c = 10.
3. p₀ (beobachtet): (a + d) / n = (40 + 40) / 100 = 0,80. Ihr seid euch in 80 % der Fälle einig.
4. Randsummen: A sagt 50× „ja", 50× „nein"; B genauso (50/50). pₑ: (0,50 · 0,50) + (0,50 · 0,50) = 0,25 + 0,25 = 0,50. Die Hälfte der Übereinstimmung war per Zufall zu erwarten.
5. Kappa: κ = (0,80 − 0,50) / (1 − 0,50) = 0,30 / 0,50 = 0,60.

Ergebnis: Aus scheinbar starken 80 % wird ein κ von 0,60 — genau weil die Hälfte der Treffer schon der Zufall erklärt. Lad im Tool das Preset „Nur Zufall" (25/25/25/25): Dort ist p₀ = pₑ = 0,50, das „Extra" über dem Zufall ist null, κ = 0. Und „Fast perfekt" (48/1/1/50) zeigt das Gegenstück: kaum Widerspruch, κ ≈ 0,96.

Deine eigenen Zahlen prüfst du oben direkt im Tool: Es ist dein Online-Rechner für Cohens Kappa, samt Interpretationsband.

Was ist ein guter Kappa-Wert?

Einen amtlichen Grenzwert für ein „gutes" Kappa gibt es nicht. Weit verbreitet ist die Skala von Landis und Koch (1977): ab κ = 0,61 gilt die Übereinstimmung als „beachtlich" (substantial), ab 0,81 als „fast perfekt" (almost perfect). Die Autoren nennen ihre Stufen im selben Atemzug aber selbst „willkürlich".

Diese Tabelle ist eine der bekanntesten Faustregeln zum Thema — und eine der meistmissverstandenen. Landis und Koch schreiben auf S. 165 wörtlich, die Einteilung sei „clearly arbitrary" (klar willkürlich); sie sollte die Diskussion in ihrem Fachartikel strukturieren, keine Bestehensgrenze für deine Thesis sein. Welcher Wert in deinem Fach und bei deiner Betreuung als ausreichend akzeptiert wird, ist eine Konvention, keine statistische Wahrheit. Und eine gute Zahl allein macht deine Analyse noch nicht überzeugend; sie braucht die inhaltliche Begründung daneben: klare Kategoriendefinitionen und Ankerbeispiele (Musterstellen, die zeigen, was in eine Kategorie gehört).

Wann passt Cohens Kappa – und wann nicht?

Cohens Kappa ist gebaut für den Fall, in dem die Codiereinheiten vorab feststehen: Jede der 100 Stellen ist eine klar abgegrenzte Einheit (ein Satz, eine Antwort, eine Szene), und beide Codierenden ordnen genau diese Einheiten in feste, sich ausschließende Kategorien ein. Das ist die Welt der quantitativen Inhaltsanalyse. Hier hat die Vierfeldertafel alle vier Felder — auch das Feld d („beide haben hier übereinstimmend nicht codiert") ist zählbar.

Bei der qualitativen Inhaltsanalyse kippt genau das. Wer nach Kuckartz oder Mayring arbeitet, legt die Codiereinheiten nicht vorher fest. Man liest den Text und markiert selbst, welche Stellen überhaupt eine Kategorie bekommen (freies Segmentieren). Damit gibt es keine feste Liste von Einheiten, an denen sich „übereinstimmend nicht codiert" abzählen ließe — die Zelle d bleibt strukturell leer. Ohne dieses Feld lässt sich der Zufallsanteil nicht schätzen, und Kappa wird sinnlos oder irreführend (Kuckartz/Rädiker 2024, S. 247–249). Was in diesem Fall funktioniert:

• Prozentuale Übereinstimmung mit einer Toleranzregel für leicht verschobene Markierungsgrenzen (rund 90 % Überlappung zählen als Treffer).
• Der Vorschlag von Brennan & Prediger (1981), wenn trotzdem ein zufallsbereinigter Kennwert verlangt wird.
• Vor allem konsensuelles Codieren: Zwei Personen codieren unabhängig, legen ihre Ergebnisse nebeneinander und klären die Unterschiede im Gespräch anhand der Kategoriendefinitionen — Ziel ist die geschärfte Definition, nicht die schöne Zahl.

Ob deine qualitative Inhaltsanalyse überhaupt einen Koeffizienten braucht, klärt der Beitrag zu den Gütekriterien nach Mayring: Dort sitzt die Intercoder-Prüfung an der richtigen Stelle, ohne scheingenauen Kennwert.

Notiz aus der Praxis: In der Recherche für die Qualitative Inhaltsanalyse für diesen Beitrag bin ich zum ersten Mal an Cohens Kappa vorbeigekommen. Dabei habe ich bereits eine Bachelorarbeit und zwei Masterarbeiten mit qualitativen Methoden geschrieben (und ja, auch bestanden). Und ehrlich habe ich auch von niemanden gegencodieren lassen. Ok, waren auch kein 1,0er Arbeiten aber auch nicht schlechter als 2,0. Ich glaube an einem fehlenden Kappa wird sich keine Arbeit entscheiden, die 1,0 aber vielleicht schon....

Gütekriterien qualitative Inhaltsanalyse (Kuckartz)

Kuckartz baut die Gütekriterien anders als Mayring: zwei Ebenen statt Liste, eine Checkliste zum Abarbeiten — und konsensuelles Codieren statt Kappa. So begründest du die Güte deiner qualitativen Inhaltsanalyse im Methodenteil.

RockyourStudiumPatricia Findel

Typische Fehler bei der Interpretation

• Kappa wie eine Prozentzahl lesen. κ = 0,60 heißt nicht „60 % Übereinstimmung". Die 60 % (bzw. 0,60) sind die um den Zufall bereinigte Größe; die rohe Übereinstimmung lag im Beispiel bei 80 %. Wer κ als Prozentwert vorliest, macht das Ergebnis schlechter, als es klingt — und verwechselt zwei verschiedene Kennzahlen.
• Die Grenzwerte für Naturgesetze halten. Ein κ von 0,61 ist nicht kategorisch besser als 0,60, nur weil Landis und Koch bei 0,61 die nächste Stufe beginnen lassen. Sie selbst nannten die Einteilung „willkürlich" (S. 165). Behandle die Bänder als grobe Orientierung und nenne im Zweifel die Konvention deines Fachs.
• Das Kappa-Paradox übersehen. Wenn fast alle Stellen in eine Kategorie fallen (sehr schiefe Randverteilung), kann κ niedrig sein, obwohl die rohe Übereinstimmung über 90 % liegt: Dann erklärt auch der Zufall schon fast alles. Das Tool-Preset „Kappa-Paradox" (91 % Übereinstimmung, κ ≈ 0,13) zeigt es. Das ist keine schlechte Codierung; schau dir die Randsummen an, denn bei extrem seltenen Kategorien ist Kappa der falsche Maßstab.
• Kappa aufs freie Segmentieren werfen. Bei qualitativer Inhaltsanalyse ohne vorab festgelegte Codiereinheiten ist κ nicht berechenbar, ohne die leere Zelle d künstlich zu füllen (Kuckartz/Rädiker 2024, S. 248–249). Wer trotzdem eine Zahl braucht, legt vorher Codiereinheiten fest (z. B. ganze Dokumente); ohne das gehört an diese Stelle das konsensuelle Codieren.

Für deinen Methodenteil

So berichtest du eine Intercoder-Prüfung sauber — Platzhalter in den geschweiften Klammern ersetzen:

Wie viel muss ich doppelt codieren? Eine feste Pflichtquote gibt es nicht. Du codierst einen Teil des Materials ein zweites Mal und gibst diesen Anteil transparent an. Wichtiger als eine bestimmte Prozentzahl ist, dass die zweite Person unabhängig und mit demselben Kategoriensystem arbeitet und ihr die Abweichungen danach im Konsens klärt.

Häufige Fragen & Fachbegriffe

Cohens Kappa oder Fleiss' Kappa – wann nehme ich was?

Die Zahl der Codierenden entscheidet: Cohens Kappa ist für genau zwei Personen gebaut, Fleiss' Kappa überträgt dasselbe Prinzip auf drei oder mehr. Codiert ihr zu zweit gegen, nimm Cohen; sitzt ein ganzes Team an denselben Stellen, ist Fleiss die richtige Wahl. Beide rechnen die Zufallsübereinstimmung heraus.

Cohens Kappa oder Krippendorffs Alpha?

Krippendorffs Alpha ist das flexiblere Maß: Es verkraftet mehr als zwei Codierende, verschiedene Skalenniveaus und fehlende Werte. Cohens Kappa ist enger zugeschnitten — genau zwei Codierende, nominale Kategorien. Für eine Zwei-Personen-Gegenprüfung einer Studienarbeit reicht Kappa; sobald ihr zu dritt codiert oder ordinale Abstufungen (geordnete Stufen wie „trifft zu / teils / trifft nicht zu") prüft, ist Alpha die sauberere Wahl.

Was ist gewichtetes Cohens Kappa?

Das gewichtete Kappa bewertet Abweichungen nach ihrer Größe: Ein Urteil eine Stufe daneben wiegt weniger als zwei Stufen daneben. Das lohnt sich bei geordneten (ordinalen) Kategorien wie „trifft zu / teils / trifft nicht zu". Bei rein nominalen Kategorien (ja/nein ohne Rangfolge) bleibt es beim normalen Kappa.

Was bedeutet ein negatives Kappa?

Ein negatives κ heißt: Die beiden stimmen seltener überein, als der Zufall erwarten ließe (κ < 0 bedeutet genau das — die beobachtete Übereinstimmung liegt unter der zufällig erwarteten). Als Ergebnis ist das ein Warnsignal: Dahinter kann ein gegenläufiges Verständnis der Kategorie stecken, bei dem der eine „ja" zuordnet, wo der andere „nein" setzt. Prüfe dann zuerst die Kategoriendefinition.

Warum ist mein Kappa niedrig trotz hoher Übereinstimmung?

Das ist das Kappa-Paradox: Wenn fast alle Stellen in dieselbe Kategorie fallen (schiefe Verteilung), erwartet man schon per Zufall eine sehr hohe Übereinstimmung, und Kappa zieht genau die ab. Dann bleibt trotz über 90 % roher Übereinstimmung nur ein kleines κ übrig. Das ist kein Codierfehler; es zeigt, dass eine Kategorie stark überwiegt und der Zufall dadurch schon fast alles erklärt. Probier oben das Preset „Kappa-Paradox".

Cohens Kappa in SPSS, R, MAXQDA oder Excel berechnen?

SPSS rechnet es über „Kreuztabellen", MAXQDA über die Intercoder-Übereinstimmung, R mit dem Paket irr (Funktion kappa2()), und in Excel über eine Kreuztabelle von Hand oder ein Add-in wie Real Statistics. Der Wert ist überall derselbe; das Tool oben macht sichtbar, wie er zustande kommt. Welches Skalenniveau deine Daten haben, sortierst du im Skalen-Sortierer; wie stark zwei Merkmale zusammenhängen, misst dagegen die Korrelation zum Anfassen.

Mehr dazu

• Numiqo (ehemals DATAtab): Cohens Kappa berechnen — deutschsprachiges Tutorial mit Online-Rechner zum Gegenrechnen deiner eigenen Tafel
• Wikipedia: Cohens Kappa. Gewichtetes Kappa, Fleiss' Kappa und die Rolle der Randverteilungen, mathematisch vertieft
• Lehrbuch-Klassiker zur Einordnung: Döring, N. (2023): Forschungsmethoden und Evaluation in den Sozial- und Humanwissenschaften, 6. Aufl., Springer — Kapitel zu Gütekriterien und Reliabilität (Bibliothek deiner Hochschule)

Belege & Zitationen

Die fachlichen Aussagen dieser Seite stützen sich auf:

• Cohen, J. (1960): A Coefficient of Agreement for Nominal Scales. Educational and Psychological Measurement 20(1), S. 37–46 — Definition und Formel von κ.
• Landis, J. R. & Koch, G. G. (1977): The Measurement of Observer Agreement for Categorical Data. Biometrics 33(1), S. 159–174 — die Interpretations-Bänder (S. 165, von den Autoren selbst als „arbitrary" bezeichnet).
• Kuckartz, U. & Rädiker, S. (2024): Qualitative Inhaltsanalyse. Methoden, Praxis, Umsetzung mit Software und künstlicher Intelligenz, 6. Aufl., Weinheim: Beltz Juventa — Kap. 9.3 (S. 238–249): warum Kappa beim freien Segmentieren scheitert, konsensuelles Codieren als Alternative.
• Braunecker, C. (2023): How to do empirische Sozialforschung. Eine Gebrauchsanleitung, 2. Aufl., Facultas/UTB — S. 113–114: Holsti-Koeffizient. Unser ausführliches Review

*  Die Beiträge auf RockyourStudium sind für dich kostenlos. Die aufwendige Arbeit, wie Interviews, Erhebungen aller Art, Analysen, Zusammenfassungen und Checklisten und auch die Betriebskosten der Seite, finanziere ich durch Affiliate-Links zu von mir empfohlenen Anbietern und Produkten. Wenn du auf einen solchen Link klickst und auf der Zielseite etwas kaufst, bekomme ich vom betreffenden Anbieter oder Online-Shop eine Vermittlerprovision. Es entstehen für dich keine zusätzlichen Kosten oder Nachteile beim Kauf. Du unterstützt damit den Aufbau dieser Seiten, die dir dein Leben im Studium leichter machen sollen.