MÉTODOS ESTATÍSTICOS PARA
EXATIDÃO DE MAPEAMENTO E
AVALIAÇÃO DE MODELOS
Camilo Daleles Rennó
Referata Biodiversidade
8 novembro 2007
Modelagem
lençol freático
rocha de origem
Modelagem
O que faz uma planta estar num
determinado lugar?
• Fatores ambientais
• Fatores aleatórios
Modelagem => Simplificação => erros
lençol freático
rocha de origem
Modelagem
seleção
calibração
lençol freático
probabilidade
ou chance de ocorrência
limiar
rocha de origem
mapa de ocorrência
(estimada)
Avaliando Modelos...
X
X
verdade
estimado
modelo A
Comparando com uma referência...
estimado
modelo B
Comparando-se modelos...
Matriz de Erro (de Confusão)
+ presença
- ausência
Real (ou Referência)
Estimado
+
-
Total
+
a
b
a+b
-
c
d
c+d
Total
a+c
b+d
n
Erros:
falsos positivos (b)
falsos negativos (c)
É função do limiar de corte e do conjunto de pontos usados na avaliação
Particionamento dos Dados
Treinamento X Teste
Idealmente deveriam ser conjuntos independentes de pontos,
ou seja, pontos de teste não usados durante o
desenvolvimento do modelo
Métodos de particionamento:
Resubstituição (treinamento = teste) -> resultado otimista
Bootstrapping (amostragem com repetição) *
Aleatorização (amostragem sem repetição) *
Amostragem prospectiva (amostragem pós-modelagem)
Leave-one-out (1 para teste e demais para treinamento) *
*avaliação iterativa: permite estimar a incerteza da precisão
Um pouco de teoria...
No lançamento de uma moeda normal,
?
P(K) = 0,5
ou 50%
?
P(C) = 0,5
No lançamento de duas moedas normais,
P(KK) = P(K)
?
. P(K) eventos independentes
1a
K
C
2a
K
C
1a
KK
KC
CK
CC
2a
K
C
Total
K
0,25
0,25
0,5
C
0,25 0,25
0,5
Total
0,5
0,5
1
Um pouco de teoria...
Se repetíssemos o lançamento de duas moedas
100 vezes, em quantas vezes as duas seriam
caras?
Resposta: de zero a 100 vezes (variável aleatória)
Se repetíssemos o lançamento de duas moedas
100 vezes, em quantas vezes esperaríamos que
as duas fossem caras?
Resposta: 25 (conceito de esperança, 100*0,25)
1a
2a
1a
K
C
Total
K
?
?
?
C
?
?
?
Total
?
?
100
observado
2a
K
C
Total
K
25
25
50
C
25
25
50
Total
50
50
100
esperado
Um pouco de teoria...
Com base no resultado de um experimento,
podemos saber se, de fato, o resultado de uma
moeda não influencia o da outra?
1a
2a
1a
K
C
Total
K
30
32
62
C
14
24
38
Total
44
56
100
2a
K
C
Total
K
25
25
50
C
25
25
50
Total
50
50
100
observado
2
2

i 1 j 1
 FAObs
ij  FAEspij 
FAEspij
esperado
12
2
~ 12
Importante: pressupõese que não haja relação
entre cada uma das 100
repetições (2 moedas)
(Distribuição qui-quadrado com 1 grau de liberdade)

0
X crít
+
independentesnão
independentes
Voltando ao nosso problema...
+ presença
- ausência
Real
Estimado
Erros:
falsos positivos (b)
falsos negativos (c)
+
-
Total
+
a
b
a+b
-
c
d
c+d
Total
a+c
b+d
n
deveriam ser independentes
pontos distribuídos no espaço...
Autocorrelação Espacial
Autocorrelação Espacial
Potencial problema para estudo baseados em área
Independência entre amostras é violada -> problema para
definição de significância dos testes
Soluções:
• incorporar a informação de vizinhança no modelo
• selecionar conjunto independente espacialmente (necessita
avaliação da autocorrelação espacial)
Medidas de Avaliação
Real
Estimado
+
-
Total
+
a
b
a+b
-
c
d
c+d
Total
a+c
b+d
n
ad
Exatidão Total =
n
mínimo = 0
máximo = 1 (ou 100%)
Exatidão Total
Exemplo numérico
Real
Estimado
+
-
Total
+
45
2
47
-
5
48
53
Total
50
50
100
Exatidão Total =
45  48
93

 93%
100
100
Exatidão Total
Se a relação entre o real e o estimado pelo modelo fosse totalmente aleatória:
Real
+
+
Estimado
-
?
47
Total
Total
53
50
50
100
Exatidão Total
Se a relação entre o real e o estimado pelo modelo fosse totalmente aleatória:
Real
47 *50
100
Estimado
+
-
Total
+
23,5
23,5
47
-
26,5
26,5
53
Total
50
50
100
Exatidão Total =
23,5  26,5 50

 50%
100
100
Kappa
Real
+
-
Total
+
a
b
a+b
-
c
d
c+d
Total
a+c
b+d
n
Estimado
Índice Kappa () – medida de concordância
 
κˆ  1 2
1  2

mínimo = < 0
máximo = 1
1 
ad
n
2 
(a  b)(a  c )  (c  d )(b  d )
n2
exatidão total
exatidão total
(se independência)
Kappa
Exemplo numérico
Real
+
-
Total
+
45
2
47
-
5
48
53
Total
50
50
100
Estimado
Índice Kappa () – medida de concordância
1  0,93
2  0,5
κˆ 
1  2 0,93  0,5

 0,86
1  2
1  0,5
Será que este valor é
significativamente superior a zero?
 Teste de hipótese
Kappa
κˆ 
1  2
1  2
1 
ad
n
2 
(a  b)(a  c )  (c  d )(b  d )
n2
2

1


4  422  



1 1 1  1  2 1  1  212  3 
1

ˆ  
Var (κ)


2
3
4
n  1  2 

1  2 
1  2 


3  a(2a  b  c)  d (b  c  2d ) n2
4  a(2a  b  c)  b(a  2b  d )  c(a  2c  d )  d (b  c  2d ) n3
Z
κˆ  κ
Var  κˆ 
~ N (0,1)
Z
 κˆ 1  κˆ 2    κ1  κ 2  ~ N (0,1)
Var  κˆ 1   Var  κˆ 2 
Outras Medidas de Avaliação
Real
Estimado
+
-
Total
+
a
b
a+b
-
c
d
c+d
Total
a+c
b+d
n
Prevalência = (a + c)/n
Poder de diagnóstico total = (b + d)/n
Sensitividade = a/(a + c)
Especificidade = d/(b + d)
Taxa de falso positivo = b/(b + d)
Taxa de falso negativo = c/(a + c)
Poder preditivo positivo = a/(a + b)
Poder preditivo negativo = d/(c + d)
Taxa de erro = (b + c)/n
Odds-ratio = (ad)/(cb)
Tau
Medida independente do limiar
ROC plot
0,8
sensitividade
(fração de verdadeiros positivos)
aumento do limiar
1
0,6
Área
0,4
treinamento
teste
0,2
0
0
0,2
0,4
0,6
0,8
1 - especificidade
(fração de falsos positivos)
presença =
0 se Prob(ocorrência) < limiar
1 caso contrário
Área ~ exatidão total
1
Comparando-se Modelos
X
estimado
modelo A
verdade
medida A
X
medida B
X
verdade
estimado
modelo B
cuidado!!!
testes estatísticos quase
sempre pressupõe
independência na amostragem
OBS: 2 Kappas só podem ser
comparados se as amostras forem
diferentes!!!
Comparando-se Modelos
X
estimado
modelo A
verdade
medida A (ok)
X
medida B (ok)
estimado
modelo A
estimado
modelo B
X
verdade
estimado
modelo B
medida AxB
Comparando-se Modelos
X
estimado
modelo A
estimado
modelo B
Modelo A
certo
errado
Total
certo
a
b
a+b
Modelo B errado
c
d
c+d
a+c
b+d
n
Total
OBS: Se b + c < 5, use teste
binomial. Para comparações
múltiplas (3 ou mais modelos),
use o teste de Cochran
teste de McNemar:
(b  c ) 2
x
~ 12
bc
12

0
coerentes
X crít
não
coerentes
+
Obrigado