Kappa
de Cohen
Prof. Ivan Balducci
FOSJC / Unesp
Kappa p/ Avaliar Confiabilidade
Kappa é um teste de acordo
(ou de confiabilidade) inter ou intra-observador
que corrige o acordo obtido por acaso (casual)
(sob hipótese de independência)
Representação gráfica do Índice Kappa
 = (Po - Pe) / (1 - Pe)
Dr. V. Abraira, SEMERGEN, vol. 27, nº 5, mayo 2001, p. 247-249
Escala do índice Kappa de Landis & Koch*
Kappa
<0,00
0,00 - 0,20
0,21 - 0.40
0,41 - 0,60
0,61 - 0,80
0,81 - 1,00
Grau de acordo
Sem acordo
Insignificante
Mediano
Moderado
Substancial
Quase Perfeito
* LANDIS, J.R. & KOCH, G.G. The measurement of observer agreement for
categorical data. Biometrics, 33(1977)159-174.
Escala do índice Kappa de Fleiss*
<0.4
0.4<>0.75
>0.75
Pobre
Bom
Excelente
* FLEISS, J.L. (1981). Statistical methods for rates and
proportions, 2nd ed. NY.p.216,218.
Kappa de Cohen ?
Representa a proporção de acordos observados além
do acaso em relação do máximo acordo possível além
do acaso.
 = (Po - Pe) / (1 - Pe)
é usado para avaliar a concordância ou
reprodutibilidade de instrumentos de medida cujo
resultado é categórico ( 2 ou mais categorias).
Compare as duas tabelas:
Tabela 1
Tabela 2
médico 1
médico 1
Sim
Sim
Médico
2
Não
1
2
Sim Não
Não
3
94
Médico
2
Sim
43
3
Não
2
52
Em ambas tabelas, os médicos concordam 95% das
vezes. Os dois médicos são igualmente confiáveis
nas duas tabelas?
Cálculo de Kappa
Calculamos o acordo observado (células
nas quais os observadores concordam
/ total das células).
Em ambas tabelas 1 e 2 é 95%.
Calculamos o acordo esperado (Pe)
(acordo “by chance”) a partir dos
totais marginais.
OBSERVADOS
Tabela 1
médico 2
médico 1
Sim Não
Sim
1
3
4
Não
2
94
96
3
97
100
Sim Não
Sim
médico 2
4
Não
3
H0: eventos
independentes
P(AB) = P(A)P(B)
médico 1
ESPERADOS
Como calcular o
“n” esperado by
chance em cada
célula?
?
96
97
100
(A) …médico 2 não =
96/100
(B) … médico 1 não =
97/100
P(AB) = 96/100 x 97/100
P(AB) = 
? = 93.12
H0: eventos independentes  P(AB) = P(A)P(B)
(A) … médico 2 sim = 4/100 e (B) … médico 1 sim = 3/100
P(AB) = 4/100 x 3/100 →freq. esperada = (4)(3)/100
P(AB) = 0.12 = 
médico
1
ESPERADO
Sim
Tabela 1
médico
2
Yes
Não

Não
3
(96/100) x 97 = 93.12
4
93.12
96
97
100
Por subtração, todas as outras células são
preenchidas automaticamente. Qualquer célula
poderia ter sido escolhida para fazer o cálculo.
médico
ESPERADO
médico
2
Tabela 1
1
Sim
Não
Sim
0.12
3.88
4
Não
2.88 93.12
96
3
97 - 93.12 = 3.88
4 - 3.88 = 0.12
97
100
Apenas, devido ao acaso, encontram-se em
acordo 93.24 das 100 observações.
Pe = 93.24 / 100
médico
ESPERADO
médico
2
Tabela 1
1
Sim
Não
Sim
0.12
3.88
4
Não
2.88
93.12
96
3
97
100
0.12 + 93.12 = 93.24
Pe = 93.24/100
Po = 95/100
 = (Po - Pe) / (1 - Pe)
Tabela 1
Fórmula Kappa
Tabela 1
Acordo observado - Acordo Esperado
1 - Acordo Esperado
 = 95% - 93.24% = 1.76% = 0.26
1 - 93.24%
6.76%
Como interpretar um Kappa igual a 0.26?
Kappa
<0,00
0,00 - 0,20
0,21 - 0.40
0,41 - 0,60
0,61 - 0,80
0,81 - 1,00
Grau de acordo
Sem acordo
Insignificante
Mediano
Moderado
Substancial
Quase Perfeito
Tabela 1
Vamos considerar agora a Tabela 2
Tabela 2
médico 1
 = ????
Sim
Não
Sim
43
3
46
Não
2
52
54
55 =
100
Médico 2
45
+
Compare as duas tabelas:
médico 1
Tabela 1
 = 0,26
Sim
Médico
2
Não
médico 1
Sim
1
2
Tabela 2
 = ????
Não
3
94
Médico
2
Sim Não
Sim
43
3
Não
2
52
Em ambas tabelas, os médicos concordam 95% das
vezes. Os dois médicos são igualmente confiáveis
nas duas tabelas?
Tabela 2
Qual é o valor de kappa
para essa Tabela 2?
médico 1
Sim Não
Médico
2
Sim
43
3
Não
2
52
Os médicos concordam 95% das vezes.
(43+52)/100
20.7 = (45)(46)/100
29.7 = (55)(54)/100
As células que indicam acordo estão
em vermelho, e somam 50.4%
Pe = 50.4
Tabela 2
médico
REAL
médico
2
1
Yes
Não
Sim
20.7
25.3
46
Não
24.3
29.7
54
45
55
100
Tabela 2
Fórmula de :
 = Acordo Observado – Acordo Esperado
1 - Acordo Esperado
 = 95% - 50.4% = 44.6% = 0.90
1 - 50.4%
49.6%
Kappa = 0.90 é considerado um acordo
excelente
Termos que devem ser familiares
Kappa de Cohen
Acordo inter, intra-observadores
Índice de reprodutibilidade