ALTERNATIVA PARA DETERMINAR ACURÁCIA DA PREVISÃO DO MBAR
UTILIZANDO ÍNDICE DE BRIER
Reinaldo Bomfim da Silveira1
Juliana Maria Duarte Mol1
RESUMO
Este trabalho propõe um método para avaliar a qualidade das previsões numéricas para localidades
específicas, através do conhecido índice de Brier, em particular aquelas produzidas pelo modelo
numérico de previsão do tempo operacional no Instituto Nacional de Meteorologia, MBAR, tanto
utilizando diretamente o modelo ou com o pós-processamento estatístico MOS (do inglês Model
Output Statistics). Embora este índice seja usualmente aplicado a categorias, testamos uma maneira
simples de aplicá-lo a dados contínuos, tais como temperaturas, chuva, pressão e outros. Os
resultados sugerem uma boa inserção aos sistemas de acompanhamento operacional, tal como
realizado no INMET.
ABSTRACT
This work suggests an alternative methodology for evaluate the quality of NWP models, especially
those regarding to point forecasting, gathered either as result of interpolation on model grid or as
post processing methodologies such as MOS. The key aspect is the use of Brier scores and its
components. Although these scores are mostly applied to categorical outputs, we have tested a
straightforward methodology for applying it to continuous variables, such as temperature, rainfall,
pressure and others. The results so far give good indications of the use of such methodology for
applications on operational basis, as done at INMET.
Palavras-chave: MBAR, verificação, Índice de Brier.
1
Instituto Nacional de Meteorologia – INMET, Eixo Monumental Via S1 Sudoeste CEP 70680-900, Brasília – DF,
Fone: (61) 3343-1779, Fax: (61) 3343-1619, e-mails: [email protected] [email protected]
INTRODUÇÃO
O método de verificação, proposto por Brier (1950) e seus desdobramentos, como aqueles
revistos por Mason (1982), é utilizado desde longa dada para determinação da destreza de modelos
numéricos. As estatísticas de erro dos modelos numéricos, como quantidades médias seja vício ou
erro médio quadrático, associados ao coeficiente de correlação são também bastante utilizadas, tal
com o indicado por Murphy (1988). No INMET, estas ferramentas são utilizadas sistematicamente
desde 2000, conforme descrito por Bernardet et. al. (2000) e aplicadas operacionalmente para
avaliação do Modelo Brasileiro de Alta Resolução (MBAR), descrito por Silveira et. al (2000).
Como alternativa a avaliação atual, o INMET aprimora uma metodologia para uso dos
coeficientes tais como taxas de acerto, erro, correta rejeição e alarme falso, implícitos nos índices de
avaliação de dados categóricos (valores de chuva maiores ou menores que um dado limite,
temperatura abaixo ou acima de um valor, etc.) para previsões para localidades, ou melhor, para um
dado ponto. A chave para esta aplicação é escolher convenientemente qual o limite para avaliação
de um dado parâmetro meteorológico para indicá-lo como aceitável (ou não).
As simulações numéricas produzem diversas saídas, com alcances variados em tempo e
espaço, mas para o usuário final a previsão de ponto é a de maior interesse, seja por questões de
deslocamentos a este ponto ou pelo motivo óbvio da necessidade de conhecer o estado futuro da
atmosfera sobre sua cidade, bairro, etc. Avaliar a qualidade das previsões para localidades
específicas tornou-se então um desafio desde longa dada. A adaptação dos coeficientes do erro para
dados contínuos é mostrada adequada para este propósito.
MÉTODO
Os resultados de previsões pontuais, diretamente do MBAR ou através do MOS, são avaliados
de acordo com a ocorrência desejável ou não, sobre um dado ponto e para um dado nível de
aceitação. Para determinar o nível de aceitação, sem impor modificações nos parâmetros
originalmente previstos, uma referência deve ser adotada. Usualmente utiliza-se categorias,
diretamente ou indiretamente relacionadas a uma dada aplicação, por exemplo, temperaturas abaixo
de um limite para vendas de sorvetes, etc. No caso particular a referência para a aceitação é o desvio
padrão da variável meteorológica, na região de previsão, de maneira que o erro de uma dada
2
Instituto Nacional de Meteorologia – INMET, Eixo Monumental Via S1 Sudoeste CEP 70680-900, Brasília – DF,
Fone: (61) 3343-1779, Fax: (61) 3343-1619, e-mails: [email protected] [email protected]
previsão seja comparável ao desvio padrão e depois avaliado conforme a observação válida para o
evento.
Entende-se por observação válida aquele cujo valor está no intervalo climatológico,
delimitado pelo desvio padrão, tal que:
f i ≡ 0 < rms ( prog ) < σ × C A
(1)
oi ≡ μ − (σ × C A ) < var(obs ) < μ + (σ × C A )
(2)
Onde f i é o indicador binário da previsão correta/incorreta (1 ou 0) e oi representa o
indicador de observação válida/inválida (1 ou 0) para o evento i. μ e σ são respectivamente, a
média e o desvio padrão das normais climatológicas e C A é o coeficiente de ajuste do desvio
padrão que assume valores em intervalos iguais a 0.5 ( 0.5 ≤ C A ≤ 2.5 ). Este coeficiente é na
verdade uma medida de desafio para o índice de destreza, onde um valor muito acima de 1.0
aumenta significativamente a região de aceitação. Para N eventos, o índice de Brier é calculado
como a medida do desvio médio entre os indicadores de previsão e observação. Então:
N
IBR = (1 / N )∑ ( f i − oi ) 2
(3)
i =1
Com N igual ao número de eventos em análise. Em (3) o Índice de Brier (IBR) pode assumir
valores no intervalo de zero e um, sendo zero, a previsão perfeita. As previsões podem ser
derivadas de diversas fontes, embora necessariamente deva ser para um ponto, exceto quando a
observação possa corresponder áreas limitadas.
De acordo com os valores, zero e um, atribuídos para a variável prevista e observada, são
possíveis algumas combinações para a medida da acurácia das previsões, descritas na tabela 1.
(Mol, 2005).
Tabela 1 – Possíveis situações aplicadas para os valores das variáveis previstas e observadas.
Variável
Prevista
1
1
0
0
Variável
Observada
1
0
1
0
Acerto
Alarme Falso
Falha
Correta rejeição
3
Instituto Nacional de Meteorologia – INMET, Eixo Monumental Via S1 Sudoeste CEP 70680-900, Brasília – DF,
Fone: (61) 3343-1779, Fax: (61) 3343-1619, e-mails: [email protected] [email protected]
O cálculo do índice de Brier, tanto para as previsões do MOS quanto para as previsões do
MBAR, utilizam os dados observados consistidos pelo controle de qualidade dos dados do INMET
(CQ), conforme Sugahara et. al. (1999).
RESULTADOS E DISCUSSÕES
Como aplicação, escolhemos as previsões realizadas para as regiões brasileiras, para todas as
localidades que realizam observações. Por questão de simplicidade, para avaliar a destreza do
MBAR e MOS, foram utilizadas somente as estações de observação do INMET. Nas figuras 1 e 2
são mostrados valores do índice de Brier, acumulado mês a mês, para o período de 12 meses
compreendendo o ano de 2005, para a variável precipitação acumulada em 24 horas prevista pelos
meteogramas e temperatura mínima do ar prevista pelo MOS, respectivamente. Opções do
coeficiente de ajuste CA, estão também indicadas nas curvas da figura 1, recebendo valores de 0.5,
1.0, 1.5, 2.0 e 2.5. Para a correta interpretação do gráfico, pede-se observar que 0 indica previsão
perfeita e 1 imperfeita. Nota-se na figura 1, que a escolha do coeficiente é importante e reflete no
nível de operacionalidade de um sistema de previsão numérica do tempo. Então a escolha de valor
elevado para o coeficiente de ajuste, implica em aceitação de previsões provavelmente fora do
limite climatológico aceitável para uma dada variável e localidade. Por outro lado, um valor
pequeno impõe um rigor incompatível com as condições reais do modelo numérico, características
locais, orografia, etc. Tomando-se a região Sudeste como exemplo, onde o desafio de correta
previsão é mais difícil, dadas as características do tempo naquela região, nota-se que para chuva
acumulada em 24 horas, conforme a figura 1, utilizar o desvio padrão como meta é mais adequado
do que impor limites muito altos ou fáceis, já que a variabilidade do índice ao longo do ano reflete a
variabilidade física do processo, o que não pode deixar de ser descrito pela previsão numérica. A
figura 1, inferior, reúne todas as regiões do Brasil para o coeficiente de ajuste igual a 1.0, ou seja,
para referência igual ao desvio padrão da variável. Observa-se que a chuva prevista é comparável ao
desvio padrão e similar para as regiões, com pequena exceção para a região Sudeste que desvia-se
no mês de agosto com valor alto para o índice de Brier.
No caso da temperatura mínima, conforme a figura 2, a interpretação dos resultados é análoga
a chuva, mas nota-se que a comparação com o valor exato do desvio padrão impõe valores altos
para o índice de Brier. As previsões de temperatura do MBAR, ainda que corrigidas pelo MOS, tem
4
Instituto Nacional de Meteorologia – INMET, Eixo Monumental Via S1 Sudoeste CEP 70680-900, Brasília – DF,
Fone: (61) 3343-1779, Fax: (61) 3343-1619, e-mails: [email protected] [email protected]
limitações, principalmente devido ao modelo de solo simplificado, utilizado operacionalmente pelo
modelo, que se encontra em processo de ajuste e melhoria.
Região Sudeste
Precipitação Acumulada em 24hs
Previsão Pontual - MBAR
IBR-MBAR
1.00
CA=0.5
0.80
CA=1.0
0.60
CA=1.5
0.40
CA=2.0
0.20
CA=2.5
0.00
Jan
Fev
Mar
Abr
Mai
Jun
Jul
Ago
Set
Out
Nov
Dez
Mês/2005
Coeficiente de Ajuste = 1.0
Precipitação Acumulada em 24hs
Previsão Pontual - MBAR
IBR-MBAR
1.00
Centro-Oeste
0.80
Sudeste
0.60
Sul
0.40
Nordeste
0.20
Norte
0.00
Jan
Fev Mar
Abr
Mai
Jun
Jul
Ago Set
Out Nov Dez
Mês/2005
Figura 1: Acurácia das previsões médias do MBAR, para chuva acumulada diária. Região Sudeste, com
vários coeficientes de ajuste (topo) e previsões para as regiões do Brasil, escolhendo CA igual a 1.0, como o
melhor coeficiente.
Região Sudeste
Temperatura Mínima
Previsão Pontual - MOS
IBR-MBAR
1.00
CA=0.5
0.80
CA=1.0
0.60
CA=1.5
0.40
CA=2.0
0.20
CA=2.5
0.00
Jan
Fev
Mar
Abr
Mai
Jun
Jul
Ago
Set
Out
Nov
Dez
Mês/2005
Coeficiente de Ajuste = 1.0
Temperatura Mínima
Previsão Pontual - MOS
IBR-MBAR
1.00
Centro-Oeste
0.80
Sudeste
0.60
Sul
0.40
Nordeste
0.20
Norte
0.00
Jan
Fev Mar
Abr
Mai
Jun
Jul
Ago
Set
Out Nov Dez
M ês/2005
Figura 2: Acurácia das previsões médias do MOS, para temperatura mínima. Região Sudeste, com vários
coeficientes de ajuste (topo) e previsões para as regiões do Brasil, escolhendo CA igual a 1.0, como o melhor
coeficiente.
5
Instituto Nacional de Meteorologia – INMET, Eixo Monumental Via S1 Sudoeste CEP 70680-900, Brasília – DF,
Fone: (61) 3343-1779, Fax: (61) 3343-1619, e-mails: [email protected] [email protected]
A alternativa para medidas de acurácia, conforme apresentada, é utilizada no INMET sendo
associada a processos operacionais de disponibilidade de produtos, constituindo uma medida de
eficácia do sistema de previsor numérico que inclui o modelo numérico (MBAR) e todos os demais
processos para execução, pós-processamento e verificações, constituindo-se o índice de
desempenho do sistema previsor. A análise mensal deste índice tem ajudado significativamente na
melhoria do sistema previsor do INMET.
AGRADECIMENTOS
Os autores agradecem ao Dr. Shigetoshi Sugahara pelo desenvolvimento do CQ e MOS
utilizados no INMET e pelas discussões importantes acerca dos desenvolvimentos dos processos de
verificação.
REFERÊNCIAS BIBLIOGRÁFICAS
Bernardet, L. R., Silveira, R.B, Edwards, J. P., 2000. Verificações do Sistema de Previsão
Numérica
do INMET. Anais do XI CBMET, Rio de Janeiro.
Brier, G. W., 1950. Verification of forecasts expressed in terms of probability. Monthly
Weather Review, 78, 1-3, AMS, 1950.
Mason, I., 1982. A model for assessment of weather forecast. Australian Met. Magazine, 30,
291-303.
Mol, J. M.D., 2005. Estimativa de Precipitação por meio de Sensoriamento Remoto.
Dissertação de Mestrado em Tecnologia Ambiental e Recursos Hídricos, Publicação. DM-86/2005,
Departamento de Engenharia Civil e Ambiental, Universidade de Brasília, Brasília, DF, 88p.
Murphy, A.H., 1988. Skill scores base don the mean square error and their relationships to
the correlation coefficient. Mon. Wea. Ver, 16, 2417-2424.
Silveira, R.B, Bernardet, L. R, Mol, J., Falcão, A., Guedes, J.M.F., 2000. Sistema Previsor
Numérico do INMET, Anais do XI CBMET, Rio de Janeiro.
Sugahara, S., 1999. Normais climatológicas das estações de superfície do Brasil, para o
período de 1962-1990. Projeto de Pesquisa desenvolvido no Instituto de Pesquisas Meteorológicas
da Universidade Estadual Paulista Júlio de Mesquita Filho, Campus de Bauru.
6
Instituto Nacional de Meteorologia – INMET, Eixo Monumental Via S1 Sudoeste CEP 70680-900, Brasília – DF,
Fone: (61) 3343-1779, Fax: (61) 3343-1619, e-mails: [email protected] [email protected]