Die Situation: Zwei Personen (A und B) gehen dieselben 100 Textstellen durch und sagen pro Stelle: Trifft die Kategorie zu — ja oder nein?
Die Tafel: Jedes Feld zählt, wie oft eine Kombination vorkam. Zeilen = Urteil von A, Spalten = Urteil von B. Grün = beide einig, Rot = uneinig. Mit +/− änderst du die Zahlen.
So liest du die Zahlen: p₀ = wie oft A und B wirklich gleich lagen. pₑ = wie viel davon schon der reine Zufall bringt. κ (Cohens Kappa) = die echte Übereinstimmung, die nach Abzug des Zufalls übrig bleibt: 1 = perfekt, 0 = reiner Zufall, negativ = schlechter als Zufall.