MÉTODOS ESTATÍSTICOS PARA EXATIDÃO DE MAPEAMENTO E AVALIAÇÃO DE MODELOS Camilo Daleles Rennó Referata Biodiversidade 8 novembro 2007 Modelagem lençol freático rocha de origem Modelagem O que faz uma planta estar num determinado lugar? • Fatores ambientais • Fatores aleatórios Modelagem => Simplificação => erros lençol freático rocha de origem Modelagem seleção calibração lençol freático probabilidade ou chance de ocorrência limiar rocha de origem mapa de ocorrência (estimada) Avaliando Modelos... X X verdade estimado modelo A Comparando com uma referência... estimado modelo B Comparando-se modelos... Matriz de Erro (de Confusão) + presença - ausência Real (ou Referência) Estimado + - Total + a b a+b - c d c+d Total a+c b+d n Erros: falsos positivos (b) falsos negativos (c) É função do limiar de corte e do conjunto de pontos usados na avaliação Particionamento dos Dados Treinamento X Teste Idealmente deveriam ser conjuntos independentes de pontos, ou seja, pontos de teste não usados durante o desenvolvimento do modelo Métodos de particionamento: Resubstituição (treinamento = teste) -> resultado otimista Bootstrapping (amostragem com repetição) * Aleatorização (amostragem sem repetição) * Amostragem prospectiva (amostragem pós-modelagem) Leave-one-out (1 para teste e demais para treinamento) * *avaliação iterativa: permite estimar a incerteza da precisão Um pouco de teoria... No lançamento de uma moeda normal, ? P(K) = 0,5 ou 50% ? P(C) = 0,5 No lançamento de duas moedas normais, P(KK) = P(K) ? . P(K) eventos independentes 1a K C 2a K C 1a KK KC CK CC 2a K C Total K 0,25 0,25 0,5 C 0,25 0,25 0,5 Total 0,5 0,5 1 Um pouco de teoria... Se repetíssemos o lançamento de duas moedas 100 vezes, em quantas vezes as duas seriam caras? Resposta: de zero a 100 vezes (variável aleatória) Se repetíssemos o lançamento de duas moedas 100 vezes, em quantas vezes esperaríamos que as duas fossem caras? Resposta: 25 (conceito de esperança, 100*0,25) 1a 2a 1a K C Total K ? ? ? C ? ? ? Total ? ? 100 observado 2a K C Total K 25 25 50 C 25 25 50 Total 50 50 100 esperado Um pouco de teoria... Com base no resultado de um experimento, podemos saber se, de fato, o resultado de uma moeda não influencia o da outra? 1a 2a 1a K C Total K 30 32 62 C 14 24 38 Total 44 56 100 2a K C Total K 25 25 50 C 25 25 50 Total 50 50 100 observado 2 2 i 1 j 1 FAObs ij FAEspij FAEspij esperado 12 2 ~ 12 Importante: pressupõese que não haja relação entre cada uma das 100 repetições (2 moedas) (Distribuição qui-quadrado com 1 grau de liberdade) 0 X crít + independentesnão independentes Voltando ao nosso problema... + presença - ausência Real Estimado Erros: falsos positivos (b) falsos negativos (c) + - Total + a b a+b - c d c+d Total a+c b+d n deveriam ser independentes pontos distribuídos no espaço... Autocorrelação Espacial Autocorrelação Espacial Potencial problema para estudo baseados em área Independência entre amostras é violada -> problema para definição de significância dos testes Soluções: • incorporar a informação de vizinhança no modelo • selecionar conjunto independente espacialmente (necessita avaliação da autocorrelação espacial) Medidas de Avaliação Real Estimado + - Total + a b a+b - c d c+d Total a+c b+d n ad Exatidão Total = n mínimo = 0 máximo = 1 (ou 100%) Exatidão Total Exemplo numérico Real Estimado + - Total + 45 2 47 - 5 48 53 Total 50 50 100 Exatidão Total = 45 48 93 93% 100 100 Exatidão Total Se a relação entre o real e o estimado pelo modelo fosse totalmente aleatória: Real + + Estimado - ? 47 Total Total 53 50 50 100 Exatidão Total Se a relação entre o real e o estimado pelo modelo fosse totalmente aleatória: Real 47 *50 100 Estimado + - Total + 23,5 23,5 47 - 26,5 26,5 53 Total 50 50 100 Exatidão Total = 23,5 26,5 50 50% 100 100 Kappa Real + - Total + a b a+b - c d c+d Total a+c b+d n Estimado Índice Kappa () – medida de concordância κˆ 1 2 1 2 mínimo = < 0 máximo = 1 1 ad n 2 (a b)(a c ) (c d )(b d ) n2 exatidão total exatidão total (se independência) Kappa Exemplo numérico Real + - Total + 45 2 47 - 5 48 53 Total 50 50 100 Estimado Índice Kappa () – medida de concordância 1 0,93 2 0,5 κˆ 1 2 0,93 0,5 0,86 1 2 1 0,5 Será que este valor é significativamente superior a zero? Teste de hipótese Kappa κˆ 1 2 1 2 1 ad n 2 (a b)(a c ) (c d )(b d ) n2 2 1 4 422 1 1 1 1 2 1 1 212 3 1 ˆ Var (κ) 2 3 4 n 1 2 1 2 1 2 3 a(2a b c) d (b c 2d ) n2 4 a(2a b c) b(a 2b d ) c(a 2c d ) d (b c 2d ) n3 Z κˆ κ Var κˆ ~ N (0,1) Z κˆ 1 κˆ 2 κ1 κ 2 ~ N (0,1) Var κˆ 1 Var κˆ 2 Outras Medidas de Avaliação Real Estimado + - Total + a b a+b - c d c+d Total a+c b+d n Prevalência = (a + c)/n Poder de diagnóstico total = (b + d)/n Sensitividade = a/(a + c) Especificidade = d/(b + d) Taxa de falso positivo = b/(b + d) Taxa de falso negativo = c/(a + c) Poder preditivo positivo = a/(a + b) Poder preditivo negativo = d/(c + d) Taxa de erro = (b + c)/n Odds-ratio = (ad)/(cb) Tau Medida independente do limiar ROC plot 0,8 sensitividade (fração de verdadeiros positivos) aumento do limiar 1 0,6 Área 0,4 treinamento teste 0,2 0 0 0,2 0,4 0,6 0,8 1 - especificidade (fração de falsos positivos) presença = 0 se Prob(ocorrência) < limiar 1 caso contrário Área ~ exatidão total 1 Comparando-se Modelos X estimado modelo A verdade medida A X medida B X verdade estimado modelo B cuidado!!! testes estatísticos quase sempre pressupõe independência na amostragem OBS: 2 Kappas só podem ser comparados se as amostras forem diferentes!!! Comparando-se Modelos X estimado modelo A verdade medida A (ok) X medida B (ok) estimado modelo A estimado modelo B X verdade estimado modelo B medida AxB Comparando-se Modelos X estimado modelo A estimado modelo B Modelo A certo errado Total certo a b a+b Modelo B errado c d c+d a+c b+d n Total OBS: Se b + c < 5, use teste binomial. Para comparações múltiplas (3 ou mais modelos), use o teste de Cochran teste de McNemar: (b c ) 2 x ~ 12 bc 12 0 coerentes X crít não coerentes + Obrigado
Download
