Risco de modelo e as suas implicações na gestão de riscos, política macroprudencial e
regulação financeira
A previsão do risco é fundamental para a política macroprudencial, regulação financeira e as
operações das instituições financeiras. Como consequência, a precisão das previsões dos
modelos de risco, ou a análise do risco de modelo, deve ser uma preocupação fundamental para
quem os utiliza. Surpreendentemente, este não parece ser o caso.
As práticas atuais da indústria e a orientação regulatória negligenciam o risco que os modelos
representam, ainda que o problema venha sendo tratado na literatura (ver, por exemplo,
Hendricks 1996 e Berkowitz e O'Brien, 2002). Adicionalmente, a literatura existente sobre risco
de modelo geralmente limita-se à análise de backtesting.
Nossa pesquisa recente (Danielsson et al. 2014) avalia a precisão das metodologias comumente
aceitas para a previsão de risco de mercado. A conclusão é de que os riscos de modelo das
abordagens existentes para risco mercado são de fato significativos nos períodos de crise.
Momentos em que a acurácia é extremamente necessária. Este diagnóstico aplica-se também à
gestão de risco de mercado pelas instituições financeiras e às metodologias de previsão de risco
sistêmico que se baseiam em dados de mercado.
Modelo de análise de risco
A prática mais comum para a apuração da eficiência dos modelos de risco é a análise de
backtesting - uma maneira um tanto quanto informal para a avaliação do risco de modelo.
Contudo, tal abordagem não é uma boa alternativa para se capturar o risco de modelo. Sendo
altamente dependente de premissas duvidosas sobre a distribuição estatística das variáveis
financeiras – das quais não se dispõe dados suficientes para verificar. Na prática, a análise tende
a ser focada em critérios simplistas, como a frequência de exceções aos níveis de quantis, ao
invés de estatísticas mais complexas, mas potencialmente importantes como a análise de
clusters de volatilidade.
Efetivamente, a análise de backtesting não permite a comparação entre os modelos. A maneira
mais simples de fazê-la, sem entrar em atoleiros estatísticos ou armadilhas de dados, é olhar
para o nível de desacordo entre os modelos considerados. Este nova abordagem, determinamos
como risk ratios. Isto implica a aplicação de uma série de metodologias comuns de previsão de
risco para determinados ativos em um mesmo momento, e, em seguida, calcular a razão entre
o máximo e o mínimo risco das previsões.
Como os modelos subjacentes passaram por algum critério de avaliação pelas autoridades e
instituições financeiras e podem ser considerados como reputáveis para a previsão de risco, a
abordagem fornece uma simples para se capturar o risco de modelo.
Supondo a existência de um número verdadeiro que represente o nível latente de risco e que o
mesmo possa ser previsto com base em uma série de bons modelos, o risk ratio deveria ser
próximo a um. Quando o risk ratio diferir fortemente de um, este número captura o grau de
discordância dos vários modelos, proporcionando uma medida sucinta de risco do modelo.
Aplicação dos modelos de risco de mercado
Comparamos seis metodologias que comumente são utilizadas para a apuração do risco: (1)
simulação histórica, (2) média móvel, (3) média móvel exponencialmente ponderada, (4-5) duas
variantes populares do modelo GARCH, e (6) modelo da teoria dos valores extremos.
Os modelos podem ter comportamentos explosivos, especialmente durante as crises
financeiras. Nesses momentos, quando utilizados os critérios de Basileia II para risco de
mercado, o risk ratio excede muitas vezes a 10 e sob os critérios propostos por Basileia III podese elevar ainda mais.
Isto significa que um analista de risco, utilizando dois modelos no estado da arte para previsão
do risco de mercado, ambos aprovados pela análise de backtesting, poderia chegar a estimativas
distintas como US$ 1 e US$10 para um mesmo portfólio.
Implicações para a regulamentação do risco de mercado
A constatação de que os modelos de previsão de risco funcionam na maior parte das vezes bem,
mas tendem a exibir problemas nos períodos de turbulência, não é necessariamente tão
importante quanto o objetivo original do uso dos modelos (gestão do risco de mercado). As
instituições financeiras estão mais preocupadas com a gestão diária do que com o risco
sistêmico e o do risco de cauda.
Entretanto, níveis elevados de risco de modelo devem ser motivo de preocupação para os
profissionais e reguladores. Afinal de contas, os resultados dos modelos de previsão de risco são
utilizados como insumo importante nas tomadas de decisão, sejam elas de alocação de carteira
ou alocação de capital. Em última análise, isso lança dúvidas sobre a conveniência de se confiar
demasiadamente na sensibilidade ao risco na estruturação da regulamentação.
Aplicação para modelos de risco sistêmico
Uma grande classe dos métodos de previsão e identificação de riscos é fundamentalmente
dependente dos modelos mais utilizados de risco de mercado e baseados nas informações de
mercado. Assim, espera-se que os resultados empíricos sobre o desempenho dos modelos de
risco de mercado possam ser aplicados igualmente a cada um deles.
Empiricamente, verificou-se que os modelos de riscos sistêmicos estão de fato sujeitos a um
risco de modelo semelhantemente aos de risco de mercado. As previsões não só são
dependentes do modelo subjacente de risco de mercado, mas também do risco de modelo das
medidas de risco de mercado que é repassado para as medidas de risco sistêmico.
Consequentemente, o risco de modelo nas abordagens para o risco sistêmico baseadas em
dados de mercado é alto, especialmente durante os períodos de crise. É um motivo particular
de preocupação que os métodos estatísticos explicitamente projetados para a análise de risco
sistêmico, em momentos de turbulência, exibam de forma considerável risco de modelo. Em
outras palavras, dados de mercado baseados nos métodos de identificação e previsão de risco
sistêmico falharão no momento em que mais serão necessários.
Razões para o mau desempenho
Há duas razões regulamentares aprovadas por que esses modelos tenham uma má
performance:
• Em primeiro lugar, as crises financeiras são raras, e assim dificilmente podem transformar-se
em uma amostra de dados.
Isso significa que precisam ser feitas hipóteses fortes sobre os processos estocásticos que regem
os preços de mercado e que muito provavelmente não são verificadas nos momentos em que a
economia transita de um período calmo para um de crise.
Pode-se usar uma crise particular para a calibragem – frequentemente utiliza-se a crise de 2008
– mas é improvável que uma única observação tenha um bom desempenho fora da amostra.
Apesar de que as crises sejam onipresentes, os seus efeitos não são homogêneos.
• Em segundo lugar, os modelos financeiros tendem a assumir que as crises são o resultado de
choques exógenos - como se um asteroide atingisse os mercados e os seus participantes não
tivessem nada a ver com isso.
Talvez, esta seja a falha mais gritante. Como argumentado por Danielsson et al. (2009), o risco
de fato é endógeno, criado pela interação entre os participantes do mercado e seu desejo de
desviar dos sistemas de controle de risco. Como os tomadores de risco e os reguladores
aprendem ao longo do tempo, a dinâmica dos preços muda, frustrando ainda mais previsão de
riscos.
Conclusão
O arcabouço da regulação financeira e a gestão interna de risco das instituições financeiras cada
vez mais se baseiam nos métodos estatísticos de previsão de risco.
Surpreendentemente, dado o papel central atribuído aos modelos de previsão de risco, a
precisão dos modelos tem sido frequentemente contestada, como por exemplo, a incapacidade
deles em identificar a acumulação de risco no período anterior ao ano de 2007.
Nossa pesquisa formal para o risco de modelo nas abordagens para risco de mercado dá suporte
para tais críticas. Os modelos do “estado da arte” atuais estão realmente sujeitos a um grau
significativo de risco de modelo. Esse risco é alto, especialmente durante os períodos de
turbulência do mercado e crises financeiras.
Os altos níveis de risco de modelo inerentes à previsão de modelos existentes de risco de
mercado deixam aberta a possibilidade de que forma imperceptível o risco de mercado possa
estar sistematicamente sub-ou superavaliado. Isso pode levar a erros dispendiosos, tais como
níveis inadequados de tomada de riscos e o erro de cálculo do capital ponderado pelo risco.
A lição para os gestores de risco, reguladores e formuladores de políticas é de que os modelos
precisam ser encarados com ceticismo. A análise formal do risco de modelo deve ser uma parte
do processo da concepção geral da regulação do risco de mercado.
Tal análise deveria ser estendida para além da publicação da versão final das regulamentações
como Basileia III, de modo que as metodologias fundamentais no processo de regulamentação
devam ser atualizadas conforme haja o aprimoramento da metodologia da previsão de risco
subjacente. Isso deve incluir a escolha de medidas de risco, níveis de probabilidade, o tamanho
da amostra, da transformação da amostra, e de eventos condicionados de cauda em adição aos
modelos estocásticos subjacentes.
Jon Danielsson, Director of the ESRC funded Systemic Risk Centre, London School of Economics
(LSE); Kevin James, Economist, UK Financial Conduct Authority; Research Fellow at the Financial
Markets Group and the Systemic Risk Centre, LSE; Marcela Valenzuela, Assistant Professor,
University of Chile; e Ilknur Zer, Economist, Board of Governors of the Federal Reserve System.
Artigo originalmente publicado em http://www.voxeu.org/article/model-risk-risk-measureswhen-models-may-be-wrong , 08 de junho de 2014. Tradução e adaptação da Assessoria
Econômica da ABBC.
Referências
Berkowitz, J and J O’Brien (2002), How accurate are value-at-risk models at commercial banks?,
Journal of Finance, 57: 977–987.
Danielsson, J, K James, M Valenzuela, and I Zer (2014), Model Risk of Risk Models, Federal
Reserve Board Finance and Economics Discussion Series, 2014-34.
Danielsson, J, H S Shin, and J-P Zigrand (2009), Modelling financial turmoil through endogenous
risk, VoxEU.org, 11 March.
Hendricks, D (1996), Evaluation of value-at-risk models using historical data, Technical report,
Federal Reserve Bank of New York Economic Policy Review, April.