Cohens Kappa

TL;DR

두 평가자 간 범주형 판정의 일치도를 우연 일치를 보정해 측정하는 Cohen’s Kappa ($\kappa$) 를 정리한다. 단순 일치율의 한계를 보완하는 핵심 아이디어와, 데이터 성격 및 평가자 수에 따른 확장형(Weighted Kappa, Fleiss’ Kappa)의 차이를 함께 다룬다.

---

Cohen’s Kappa: 평가자 간 신뢰도의 척도

데이터 라벨링이나 성능 평가에서는 여러 평가자가 내린 판단이 얼마나 일관적인지가 결과의 신뢰성을 좌우한다.

이때 단순히 “둘이 얼마나 자주 같은 답을 했는가” 만 보는 것은 부족할 수 있다. 어떤 경우에는 평가자들이 우연히도 같은 답을 선택할 가능성 이 있기 때문이다. Cohen’s kappa는 바로 이 우연 일치(chance agreement) 를 보정해, 두 평가자 간의 실제 일치도를 더 공정하게 측정하려는 지표이다.

---

1. 왜 단순 일치율만으로는 부족한가?

가장 직관적인 지표는 단순 일치율(percent agreement) 이다.

• 관찰 일치율 ($p_o$): 전체 항목 중 두 평가자가 실제로 같은 판정을 내린 비율
• 우연 일치율 ($p_e$): 각 평가자가 평소 자주 쓰는 범주 분포를 바탕으로, 우연히 같은 판정을 할 것으로 기대되는 비율

예를 들어, 두 평가자가 대부분의 항목에 대해 거의 항상 Pass를 선택한다면, 특별한 합의가 없어도 단순 일치율은 높게 나올 수 있다. 이런 경우 단순 일치율만 보면 실제보다 일치도가 높아 보일 수 있다.

Cohen’s kappa는 이 차이를 반영해 다음처럼 계산한다.

$$\kappa =\frac{p_o-p_e}{1-p_e}$$

해석은 직관적으로 다음과 같이 볼 수 있다.

• $\kappa =1$: 완전한 일치
• $\kappa =0$: 우연 수준의 일치
• $\kappa <0$: 우연보다도 못한 일치

즉, 단순 일치율에서 우연히 일어날 수 있는 부분을 제외하고 남는 일치도 를 표준화한 값이라 이해하면 된다.

---

2. 단계별 계산 예시 (Step-by-Step)

이해를 돕기 위해 50개의 문장을 두 명의 평가자(A, B)가 Safe 또는 Unsafe로 분류한 가상의 데이터를 살펴본다.

1단계: 혼동 행렬(Confusion Matrix) 작성

	B: Safe	B: Unsafe	합계 (A)
A: Safe	37	3	40
A: Unsafe	2	8	10
합계 (B)	39	11	50

2단계: 관찰 일치율 ($p_o$) 계산

두 사람의 의견이 실제로 일치한 비율이다.

$$p_o=\frac{37+8}{50}=0.90$$

3단계: 우연 일치율 ($p_e$) 계산

각 평가자의 성향을 바탕으로 우연히 일치할 확률을 구한다.

• 둘 다 Safe라고 할 확률 : (A가 Safe라 할 확률 40/50) × (B가 Safe라 할 확률 39/50) = $0.8\times 0.78=0.624$
• 둘 다 Unsafe라고 할 확률 : (A가 Unsafe라 할 확률 10/50) × (B가 Unsafe라 할 확률 11/50) = $0.2\times 0.22=0.044$
• 우연 일치율 ($p_e$) : $0.624+0.044=0.668$

4단계: Kappa ($\kappa$) 산출

$$\kappa =\frac{0.90-0.668}{1-0.668}=\frac{0.232}{0.332}\approx 0.698$$

해석: 단순 일치율은 90% 로 매우 높아 보이지만, 실제 카파 값은 0.698 이다. Landis & Koch 기준에 따르면 Substantial(상당함) 수준의 일치도이며, 약 20% 정도는 우연의 영향이 있었음을 알 수 있다.

---

3. 일치도 해석 기준

실무와 논문에서 자주 인용되는 해석 기준은 Landis & Koch (1977) 의 구분이다.

Kappa 값 ($\kappa$)	해석
< 0.00	Poor
0.00 – 0.20	Slight
0.21 – 0.40	Fair
0.41 – 0.60	Moderate
0.61 – 0.80	Substantial
0.81 – 1.00	Almost Perfect

다만 이 표는 절대 기준 이라기보다, 어디까지나 자주 쓰이는 관행적 가이드라인 으로 보는 편이 좋다. 실제 해석은 데이터의 불균형 정도, 라벨링 난이도, 연구 목적까지 함께 고려해야 한다.

---

4. Cohen’s Kappa의 확장과 변형

평가 상황이 달라지면 같은 카파 계열이라도 적절한 정의가 달라진다.

4.1 Cohen’s Kappa

• 평가자 2명일 때 사용
• 명목형(Nominal) 범주에 적합
• 예: Pass / Fail, Spam / Not Spam, Safe / Unsafe

4.2 Weighted Kappa

• 순서형(Ordinal) 범주일 때 사용
• 예: 매우 나쁨 / 나쁨 / 보통 / 좋음
• 순서형 데이터에서는 모든 불일치가 같은 크기가 아니므로 불일치 정도에 따라 가중치(weight) 를 부여한다.
• 보통 linear weighting 또는 quadratic weighting이 함께 언급된다.

즉, 매우 나쁨 vs 나쁨의 불일치는 매우 나쁨 vs 좋음의 불일치보다 덜 심각하다고 보는 방식이다.

4.3 Fleiss’ Kappa

• 3명 이상의 평가자에 대한 범주형 일치도를 볼 때 자주 사용
• 실무에서는 Cohen’s kappa의 다평가자 버전처럼 함께 소개되지만, 엄밀히는 다평가자 범주형 일치도를 위한 별도 계열 지표로 보는 편이 더 정확하다.

---

5. 주의해야 할 점

5.1 Kappa는 단순 일치율과 다르다

높은 단순 일치율이 항상 높은 kappa를 의미하지는 않는다. 특정 범주에 응답이 몰려 있으면 관찰 일치율은 높아도 카파는 낮아질 수 있다.

5.2 불균형 데이터에서는 해석에 주의해야 한다

특정 범주가 지나치게 많이 등장하면 prevalence problem이 생길 수 있다. 예를 들어 대부분이 Pass인 데이터에서는 평가자들이 거의 항상 같은 답을 해도 카파가 기대보다 낮게 나올 수 있다.

5.3 낮은 카파는 곧바로 “평가자 문제”를 뜻하지는 않는다

카파가 낮은 이유는 다양하다.

• 가이드라인이 모호함
• 평가자 훈련 부족
• 애초에 애매한 태스크
• 범주 불균형
• 평가자별 범주 사용 습관 차이

따라서 낮은 kappa는 재검토가 필요하다는 신호로 보는 것이 적절하다.

5.4 카파는 상관계수가 아니다

두 평가자가 비슷한 경향을 보인다고 해서 반드시 높은 agreement가 있는 것은 아니다. 카파는 상관(correlation) 이 아니라 agreement 를 측정하는 지표이다.

---

6. 생성 데이터 검수 관점에서의 의미

생성 데이터 검수에서는 보통 일부 샘플을 사람이 평가하게 된다. 이때 카파는 다음 질문에 답한다.

같은 샘플을 본 두 평가자의 판단이, 우연 이상의 수준으로 일관적인가?

예를 들어:

• 응답이 정책 위반인지 아닌지
• 생성 결과가 사실적으로 맞는지 아닌지
• 답변 품질이 좋음 / 보통 / 나쁨 중 어디인지

같은 항목을 두 평가자가 독립적으로 평가했을 때, 카파가 충분히 높다면 검수 기준이 비교적 안정적이라고 볼 수 있다.

---

7. 함께 보면 좋은 대안 지표

• Krippendorff’s Alpha
  • 결측값이 있거나, 평가자 수가 고정되지 않거나, 다양한 척도(명목/순서/구간)를 다루고 싶을 때 더 유연하게 사용
• ICC (Intraclass Correlation Coefficient)
  • 연속형 또는 점수형 데이터에서 평가자 간 일치도를 볼 때 자주 사용

즉, 카파는 매우 유용하지만 모든 유형의 평가 데이터에 대한 만능 해법은 아니다.

---

8. 정리

Cohen’s kappa는 두 평가자의 범주형 판단이 얼마나 일관적인지를, 우연 일치를 보정해서 측정하는 지표이다.

핵심은 다음 두 가지이다.

1. 단순 일치율보다 더 엄격한 agreement 지표라는 점
2. 데이터 분포와 평가 설계에 따라 값이 크게 달라질 수 있으므로 맥락 속에서 해석해야 한다는 점

따라서 생성 데이터 검수, 라벨링 품질 평가, 사람 평가 기반 벤치마크 설계에서 카파는 매우 유용하지만 항상 범주 불균형, 척도 유형, 평가자 수를 함께 고려해야 한다.

---

❓Key Concepts to Clarify

• Krippendorff’s Alpha: 결측치나 다양한 척도를 다룰 때 더 유연한 일치도 지표
• ICC: 연속형/점수형 데이터에서의 평가자 간 일치도 지표
• Weighted Kappa: 순서형 범주에서 불일치 정도에 차등을 두는 카파
• Prevalence Problem: 범주 불균형 때문에 단순 일치율과 카파가 어긋날 수 있는 현상

---

📎 References

📑 Core Theory & Foundation

• Cohen (1960) - A coefficient of agreement for nominal scales: 카파 계수의 효시. 명목 척도에서 우연 일치를 보정하는 기본 공식을 제안.
• Cohen (1968) - Weighted kappa: Nominal scale agreement with provision for scaled disagreement: 가중 카파 도입. 순서형 데이터에서 오차의 크기에 따라 차등을 두는 방식 정의.
• Fleiss (1971) - Measuring nominal scale agreement among many raters: 다수 평가자 확장. 3명 이상의 평가자가 있을 때 사용하는 Fleiss’ Kappa 제안.

📏 Interpretation & Guidelines

• Landis & Koch (1977) - The measurement of observer agreement for categorical data: 표준 해석 기준. < 0.20(Slight)부터 > 0.81(Almost Perfect)까지의 관행적 가이드라인 제시.
• Hallgren (2012) - Computing Inter-Rater Reliability for Observational Data: A Tutorial: 실무 튜토리얼. 평가자 간 신뢰도 계산의 전체 프로세스와 SPSS/R 활용법 설명.

⚠️ Limitations & Advanced Topics

• Zec et al. (2017) - High Agreement and High Prevalence: The Paradox of Cohen’s Kappa: 카파의 역설. 데이터 불균형(Prevalence)이 심할 때 일치율은 높으나 카파는 낮게 나오는 현상 분석.
• Li et al. (2023) - Kappa statistic considerations in evaluating inter-rater reliability: 최신 고려사항. 상황에 맞는 카파 선택 기준과 문맥적 해석의 중요성 강조.

💻 Implementation Tools

• Scikit-learn: cohen_kappa_score: Python을 이용한 Cohen’s Kappa 및 Weighted Kappa 구현 API.
• Statsmodels: fleiss_kappa: 다수 평가자 일치도(Fleiss’ Kappa) 계산을 위한 라이브러리 가이드.