Avaliação do Resultado das Auditorias Operacionais de 2013 e
Comparação com 2012
Avaliação do Resultado das Auditorias Operacionais de 2013
e Comparação
com 2012
26/03/2014
Confidencial
Restrita
Confidencial
Uso Interno
X
1
Público
Objetivo da Apresentação
• Apresentação da Classificação dos resultados das Auditorias
Operacionais de 2013.
• Comparação dos resultados de 2013 com 2012.
• Análise do cumprimento dos requisitos normativos por processo.
• Regra de dispensa da Auditoria Operacional.
Avaliação do Resultado das Auditorias Operacionais de 2013 e Comparação com 2012
2
Mecanismo de classificação do resultado das auditorias
operacionais
Propósito do Mecanismo de Classificação:
•
Avaliação  Classificação  Dispensa (automática)
Fundamentos do mecanismo:
•
•
•
•
Mecanismo de avaliação quantificável e uniforme;
Avaliação comparativa:
• Individual e mercado;
• Presente e passado.
Resultados comparáveis no tempo, mesmo com alteração de requisitos;
Transparência.
Avaliação do Resultado das Auditorias Operacionais de 2013 e Comparação com 2012
3
Descrição do Mecanismo
Definição da Nota Final do Item Auditado por meio da multiplicação do Peso do
Objetivo de Controle pela Nota do Item Auditado: NOTA FINAL = PESO x NOTA.
A Nota Final é calculada a partir das exceções apresentadas no Relatório Final de
Auditoria Operacional enviado ao Participante.
Peso do Objetivo de Controle
•
•
•
O Peso varia entre 0,5 e 5.
Quanto maior a gravidade e a importância, maior o peso.
Para Infrações graves (CVM), o peso varia entre 3 e 5.
Nota do Item Auditado
•
•
•
A nota varia entre 0,5 e 5.
Quanto maior a Nota, pior a avaliação.
A Nota é proporcional à quantidade de não conformidades observadas.
A Matriz com os pesos dos objetivos e as notas dos pontos utilizada na avaliação
está disponível no seguinte endereço: www.bsm-autorregulacao.com.br
Avaliação do Resultado das Auditorias Operacionais de 2013 e Comparação com 2012
4
Descrição do Mecanismo – Padronização da Nota Final
A NOTA FINAL não padronizada do processo é o somatório das notas dos itens
auditados que compõem o processo.
A NOTA FINAL não padronizada do Participante é o somatório da NOTA FINAL não
padronizada dos processos.
Padronização da NOTA FINAL:
• Cálculo da média e do desvio padrão da NOTA FINAL por processo de todos os
Participantes;
• Criação de 4 faixas de distribuição da nota final por processo;
• Atribuição de pontuação exponencial conforme faixa;
• Somatório das notas finais padronizadas dos processos por Participante.
O gráfico a seguir demonstra a formação da nota final padronizada do Participante.
Avaliação do Resultado das Auditorias Operacionais de 2013 e Comparação com 2012
5
Padronização da Nota Final
10
Pontos
8
6
4
2
0
Faixa I Faixa II Faixa III Faixa
IV
Faixa I = 1 pto.
Faixa II = 2 ptos.
Faixa III = 4 ptos.
Faixa IV = 8 ptos.
P1j
1
-
-
-
P2j
-
-
4
-
P3j
-
2
-
-
...
...
...
...
...
P16j
-
-
-
8
Mínimo: 16 x 1 = 16 pontos
NOTA FINAL PADRONIZADA
𝟏𝟔
𝒊=𝟏 𝑷𝒊𝒋 𝑻𝒐𝒕𝒂𝒍 𝒅𝒆 𝒑𝒐𝒏𝒕𝒐𝒔 𝒅𝒐 𝑷𝒂𝒓𝒕𝒊𝒄𝒊𝒑𝒂𝒏𝒕𝒆 𝒋 Máximo: 16 x 8 = 128 pontos
Avaliação do Resultado das Auditorias Operacionais de 2013 e Comparação com 2012
6
Resultado: 2013
Distribuição de Frequência da Nota Final – Não Padronizada
99%
35
100%
100%
93%
31
90%
Quantidade de Participantes
30
80%
75%
25
24
70%
60%
20
50%
42%
15
40%
13
30%
10
20%
4
5
10%
1
0
0%
5%
10%
15%
20%
25%
30%
35%
40%
Não Conformidade
Melhor
Avaliação do Resultado das Auditorias Operacionais de 2013 e Comparação com 2012
45%
50%
Mais de
50%
Pior
7
Comparação do resultado: 2013 e 2012
Distribuição de Frequência da Nota Final – Não Padronizada
99%
35
100%
100%
93%
31
96%
96%
97%
99%
73 Participantes
76 Participantes
𝐱 = 7,79%
𝐱 = 16,58%
Quantidade de Participantes
30
87%
75%
25
24
68%
19
20
42%
47%
15
100%
80%
70%
60%
50%
16
14
40%
13
11
90%
30%
10
7
6
20%
22%
4
5
1
8%
1
1
10%
1
0
0%
5%
10%
15%
20%
25%
30%
35%
40%
Não Conformidade
2012
2013
2012
45%
50%
Mais de
50%
2013
Melhor
Avaliação do Resultado das Auditorias Operacionais de 2013 e Comparação com 2012
Pior
8
Nota Final Padronizada
Distribuição de Frequência da Nota Final Padronizada – 2013
12
93% 95%
10
10
100%
90%
85%
10
10
Quantidade de Participantes
99% 100%
78%
71%
8
8
8
80%
74%
70%
63%
60%
49%
6
6
6
50%
5
38%
40%
4
2
14%
30%
3
3
25%
2
20%
1
1
10%
0
0%
Nota Final Padronizada
Melhor
Avaliação do Resultado das Auditorias Operacionais de 2013 e Comparação com 2012
Pior
9
Nota Final Padronizada
Distribuição de Frequência da Nota Final Padronizada – 2013 e 2012
12
93% 95%
11
10
10
Quantidade de Participantes
10
9
8
85%
10
78% 86%
74% 82%
71%
9
8
8
63%
7
8
6
49%
54%
5
2
90%
𝐱 = 39,75 43,00
80%
𝛔 = 16,62 16,98
70%
𝐱 − 𝛔 = 23,13 25,91
60%
𝐱 + 𝛔 = 56,37 60,09
50%
5
40%
3
3
25%
28%
89%
6
6
39%
14%
2013 2012
7
38%
4
100%
99% 99% 99% 99% 100%
96% 97%
72%
64%
6
93%
99% 100%
3
3
2
2
1
16%
30%
3
20%
1
1
1
1
10%
9%
0
0%
Nota Final Padronizada
2013
2012
2013
2012
Melhor
Avaliação do Resultado das Auditorias Operacionais de 2013 e Comparação com 2012
Pior
10
Nota Final Padronizada
Distribuição de Frequência da Nota Final Padronizada em Faixas – 2013
39,75
23,13
12
10
10
56,37
2013 2012
10
Quantidade de Participantes
10
𝐱 = 39,75 43,00
8
𝛔 = 16,62 16,98
8
8
𝐱 − 𝛔 = 23,13 25,91
6
𝐱 + 𝛔 = 56,37 60,09
6
6
5
4
3
3
2
1
2
1
0
Faixa I
Faixa II
Faixa III
Faixa IV
Nota Final Padronizada
Melhor
Avaliação do Resultado das Auditorias Operacionais de 2013 e Comparação com 2012
Pior
11
Comparativo 2013 e 2012
Resumo
Participante
Quantidade
%
15
19
12
7
17
3
73
20,6%
26,1%
16,4%
9,5%
23,2%
4,2%
100%
Melhorou Nota e Faixa
Melhorou Nota e Manteve Faixa
Manteve Nota e Faixa*
Piorou Nota e Manteve Faixa
Piorou Nota e Faixa
Não Auditado em 2012
Total
* Sendo 11 da Faixa 1
Avaliação do Resultado das Auditorias Operacionais de 2013 e Comparação com 2012
12
Comparativo 2013 e 2012
Variação da Nota Final Padronizada de 2012 para 2013
80%
60%
40%
24 Participantes (33%)
20%
0%
-20%
15 Participantes (20%)
34 Participantes (47%)
-40%
-60%
-80%
-100%
-120%
Mudança de 2 faixas
Avaliação do Resultado das Auditorias Operacionais de 2013 e Comparação com 2012
13
Resultado de 2013 – Visão por Processo
Suitability – 414
Cadastro – 603
100%
100%
80%
80%
60%
60%
40%
40%
20%
20%
0%
0%
1%
15%
29%
42%
56%
70%
84%
97%
1%
15%
Ordens – 779
100%
80%
80%
60%
60%
40%
40%
20%
20%
0%
0%
15%
29%
42%
56%
42%
56%
70%
84%
97%
84%
97%
Liquidação – 428
100%
1%
29%
70%
84%
97%
Eixo Vertical: não conformidade
1%
15%
29%
42%
56%
70%
Eixo Horizontal: Participantes
Avaliação do Resultado das Auditorias Operacionais de 2013 e Comparação com 2012
14
Resultado de 2013 – Visão por Processo
Conta Margem – 260
Custódia – 289
100%
100%
80%
80%
60%
60%
40%
40%
20%
20%
0%
0%
1%
15%
29%
42%
56%
70%
84%
97%
1%
15%
Risco – 211
100%
80%
80%
60%
60%
40%
40%
20%
20%
0%
0%
15%
29%
42%
56%
42%
56%
70%
84%
97%
84%
97%
Integridade – 432
100%
1%
29%
70%
84%
97%
Eixo Vertical: não conformidade
1%
15%
29%
42%
56%
70%
Eixo Horizontal: Participantes
Avaliação do Resultado das Auditorias Operacionais de 2013 e Comparação com 2012
15
Resultado de 2013 – Visão por Processo
PLD – 939
AAI – 487
100%
100%
80%
80%
60%
60%
40%
40%
20%
20%
0%
0%
1%
15%
29%
42%
56%
70%
84%
97%
1%
Clube de Investimentos – 303
100%
80%
80%
60%
60%
40%
40%
20%
20%
0%
0%
15%
29%
42%
56%
70%
84%
29%
42%
56%
70%
84%
97%
Segurança da Informação – 559
100%
1%
15%
97%
Eixo Vertical: não conformidade
1%
15%
29%
42%
56%
70%
84%
97%
Eixo Horizontal: Participantes
Avaliação do Resultado das Auditorias Operacionais de 2013 e Comparação com 2012
16
Resultado de 2013 – Visão por Processo
Continuidade dos Negócios – 81
Monitoração de TI – 129
100%
100%
80%
80%
60%
60%
40%
40%
20%
20%
0%
0%
1%
15%
29%
42%
56%
70%
84%
97%
1%
Gerenciamento de Mudanças – 80
100%
80%
80%
60%
60%
40%
40%
20%
20%
0%
0%
15%
29%
42%
56%
70%
84%
29%
42%
56%
70%
84%
97%
Suporte à Infraestrutura – 102
100%
1%
15%
97%
Eixo Vertical: não conformidade
1%
15%
29%
42%
56%
70%
84%
97%
Eixo Horizontal: Participantes
Avaliação do Resultado das Auditorias Operacionais de 2013 e Comparação com 2012
17
Dispensa de Auditoria Operacional
Inclusão de novo critério de dispensa da Auditoria Operacional (Comunicado Externo
007/2014-DP de 26/03/2014):
•
Dispensa por 1 plano de trabalho para os Participantes que cumprirem os seguintes
requisitos:
D1. Ter Nota Final Padronizada (NF) na Faixa I e não ter Nota Final Padronizada do
Processo (NFP) na Faixa IV em quaisquer processos avaliados.
•
Dispensa por 2 planos de trabalho para os Participantes que cumprirem os seguintes
requisitos:
D2. Ter Nota Final Padronizada do Processo na Faixa I, em todos os processos avaliados;
ou
D3. Nas duas últimas auditorias, ter Nota Final Padronizada na Faixa I e não ter Nota Final
Padronizada dos Processos na Faixa IV em quaisquer processos avaliados.
Exemplos:
Plano
2012
NF=1
NFP≠4
Plano
2013
Plano
2012
Todas
NFP=1
Plano
2013
Plano
2014
D2
D2
D1
Plano
2014
NF=1
NFP≠4
Plano
2015
Plano
2016
D3
D3
Plano
2015
Todas
NFP=1
Plano
2017
NF=1
NFP≠4
Plano
2018
Plano
2019
D3
D3
Plano
2016
Plano
2017
D2
D2
Plano
2018
Todas
NFP=1
Plano
2020
NF=2, 3
ou 4
Plano
2021
NF=1
NFP≠4
Plano
2019
Plano
2020
D2
D2
Avaliação do Resultado das Auditorias Operacionais de 2013 e Comparação com 2012
Plano
2022
D1
Plano
2023
NF=1
NFP≠4
Plano
2021
NF=1
NFP≠4
Plano
2024
Plano
2025
D3
D3
Plano
2022
Plano
2023
D3
D3
18
Comunicação aos Participantes
•
Carta ao Participante com informação sobre:
•
Nota final padronizada;
•
Nota padronizada por processo;
•
Limites das faixas da nota final por processo;
•
Lista que relaciona o ponto de auditoria com o critério de atribuição da nota
utilizado, que consta da Matriz de Pesos e Notas divulgada;
•
•
Distribuição de frequência da nota final padronizada e os limites das faixas.
Normativos BM&FBOVESPA e BSM
Avaliação do Resultado das Auditorias Operacionais de 2013 e Comparação com 2012
19
Faixas de Distribuição da Nota Final por Processo
Faixa 1
Suitability
Faixa 2
Faixa 3
Faixa 4
0,00 a 3,99
4,00 a 52,27
Cadastro
0,00
0,01 a 28,25
28,26 a 59,17
59,18 a 603,00
Executar Ordens
0,00
0,01 a 44,07
44,08 a 88,21
88,22 a 779,00
Liquidar Ordens
0,00
0,01 a 29,98
29,99 a 61,68
61,69 a 428,00
Conta Margem
0,00
0,01 a 3,63
3,64 a 15,11
15,12 a 260,00
Custodiar Ativos
0,00
0,01 a 0,24
0,25 a 2,15
2,16 a 289,00
Gerenciar Riscos
0,00
0,01 a 4,79
4,80 a 15,17
15,18 a 211,00
0,00 a 4,20
4,21 a 29,65
29,66 a 55,09
55,10 a 432,00
Integridade
52,28 a 100,55 100,56 a 414,00
Prevenção à Lavagem de Dinheiro
0,00
Agente Autônomo de Investimento
0,00
0,01 a 8,82
8,83 a 26,10
26,11 a 487,00
Clubes de Investimento
0,00
0,01 a 1,92
1,93 a 6,96
6,97 a 303,00
0,00 a 39,09
39,10 a 83,98
Continuidade de Negócios
0,00
0,01 a 10,93
10,94 a 28,57
28,58 a 81,00
Monitoramento e Operação da
Infraestrutura de TI
0,00
0,01 a 12,17
12,18 a 26,15
26,16 a 129,00
Gerenciamento de Mudanças
0,00
0,01 a 16,91
16,92 a 38,26
38,27 a 80,00
Suporte à Infraestrutura
0,00
0,01 a 4,22
4,23 a 10,00
10,01 a 102,00
Segurança das Informações
0,01 a 143,34 143,35 a 292,23 292,24 a 939,00
Avaliação do Resultado das Auditorias Operacionais de 2013 e Comparação com 2012
83,99 a 128,86 128,87 a 559,00
20
PERGUNTAS ?
A apresentação está disponível no seguinte endereço:
www.bsm-autorregulacao.com.br
Avaliação do Resultado das Auditorias Operacionais de 2013 e Comparação com 2012
21
Contato
Gerência de Auditoria de Participantes e Agentes
Telefone:+55 (11) 2565-6074
E-mail: [email protected]
Avaliação do Resultado das Auditorias Operacionais de 2013 e Comparação com 2012
22
ANEXO
Avaliação do Resultado das Auditorias Operacionais de 2013 e Comparação com 2012
23
Classificação do resultado das auditorias operacionais
Padronização da Nota Final
Linear
Faixa II
Faixa III
Faixa IV
Participant Faixa I
Total de
e
(1 ponto) (2 pontos) (3 pontos) (4 pontos) Pontos
A
Processo 1
Processo 2
5
B
Processo 1 Processo 2
5
Exponencial
Faixa II
Faixa III
Faixa IV
Participant Faixa I
Total de
e
(1 ponto) (2 pontos) (4 pontos) (8 pontos) Pontos
A
Processo 1
Processo 2
9
B
Processo 1 Processo 2
6
Avaliação do Resultado das Auditorias Operacionais de 2013 e Comparação com 2012
24