AUDITORIA
OPERACIONAL
TRIBUNAL DE CONTAS DO PARANÁ
PAF SOCIAL
AC - Marcio José Assumpção
Email: [email protected]
Fone: 41-3350-1719
30/09/2011
 Execução da Auditoria Operacional
 Relatório
 Monitoramento
 Cronograma de atividades
 Técnicas de Diagnóstico
ATIVIDADE
Reuniões com as Universidades
Definição dos temas de auditoria
Assinatura do termo de referência
Treinamento sobre auditoria operacional
Definição das equipes de auditoria (alunos e
professores)
Realização de levantamentos preliminares
Identificação dos pontos fortes e fratos de
cada processo (Análise SWOT)
Validação da análise SWOT
Identificação dos riscos associados as
fraquezas e ameaças
Elaboração e validação do Diagrama de
Verificação de Riscos (DVR)
Elaboração das questões de auditoria
Construção da matriz de planejamento
Validação da matriz de planejamento
Painel de referência com a sociedade
RESPONSÁVEL
Tribunal de Contas/Universidades
Tribunal de Contas/Universidades
Tribunal de Contas/Universidades
Tribunal de Contas/Universidades
DATAS PROPOSTAS
já realizado
já realizado
30/08/2011
31/08, 01 e 02/09/2011
Universidades
até 16/09/2011
Tribunal de Contas/Universidades
até 30/09/2011
Tribunal de Contas/Universidades
até 14/10/2011
Tribunal de Contas/Universidades
até 21/10/2011
Tribunal de Contas/Universidades
até 28/10/2011
Tribunal de Contas/Universidades
até 04/11/2011
Tribunal de Contas/Universidades
Tribunal de Contas/Universidades
Tribunal de Contas/Universidades
Tribunal de Contas/Universidades
até 18/11/2011
até 25/11/2011
até 02/12/2011
até 15/12/2011
ARNALDO LAPORTE
UENP Jacarezinho
Meio Ambiente
AOP
MÁRCIO
ASSUMPÇÃO
Transporte
Escolar
Aquisição de
Medicamentos
CAROLINA
MARCELINO
UENP Jacarezinho
FECILCAM Campo Mourão
RICARDO
ALPENDRE
UNIOESTE - Mal.
Cd. Rondon
FAFIPA Paranavaí
ROGÉRIO
BARBOSA MACEDO
MÁRCIO LUIZ
CARRIERI
SÉRGIO LUIZ
MAYBUK
DIONE OLESCZUK
SOUTES
RONALDA
CARVALHO
CARGNIN
SILVALDO BAGLIE
UEPG - Ponta
Grossa
Monitoramento
Seleção
Divulgação
CICLO DA
AUDITORIA
OPERACIONAL
Planejamento
Apreciação
Execução
Comentário do
gestor
Relatório
Para que tantas técnicas?
Por que não partir direto
para a auditoria?
1. compartilhar idéias, compará-las e
tomar decisão
2. formar entendimento claro e comum
sobre objetivo da auditoria
3. conhecer o objeto de auditoria e o
ambiente em que opera
4. problematizar
5. identificar causas de falhas e de
sucessos para formular recomendações
6. sistematizar idéias
Brainstorming
Quando não há
clareza sobre o tema
Para jogar focos de
luz sobre o tema e
depois escolher o
melhor ângulo
8
Brainstorming
Para explorar objetos de
auditoria, para selecionar
o problema de auditoria,
para selecionar a
abordagem a ser utilizada,
para decidir sobre a
técnica de análise, para
formular recomendações,
para identificar benefícios.
9
Brainstorming
 Dinâmica: muitas
pessoas, ambiente
relaxado, descontraído,
receptivo, sem censura
 Chave: criatividade
10
Brainstorming
1.Exponha o problema,
o que se deseja
2.Escreva-o em local
que fique a vista de
todos
3.Escreva cada idéia em
um papel autocolante
e coloque-o a vista de
todos
11
Brainstorming
4. Comece a formar esquema
inteligível de idéias com o
grupo
5. Caso o objetivo seja
selecionar idéias e a tarefa
esteja difícil, estabeleça
com o grupo critérios a
serem obedecidos e
esquema de pontuação
Brainstorming
Uma pessoa deve
atuar como
facilitadora e outra
escrever as idéias e
montar o quadro
Deve-se encorajar o
fluxo
Nada de repressão
13
Brainstorming
Uma idéia
aparentemente tola
pode levar a uma
solução criativa
Entre 20 e 30 min é o
suficiente para a
primeira fase
14
Análise Stakeholder - Objetivos
Conhecer o conceito e a técnica
análise stakeholder
Estar habilitado a utilizar essa
ferramenta nas auditorias de
desempenho
Conceito Stakeholder
 São pessoas, grupos ou organizações com
interesse em algum programa ou projeto.
 São aqueles que influenciam ou são
influenciados de forma decisiva ou são
importantes para o sucesso do objeto da
auditoria
O que é análise stakeholder
consiste na identificação dos
principais atores envolvidos, dos
seus interesses e do modo como
esses interesses afetam o risco e o
desempenho do objeto da auditoria
Stakeholders
 primários são aqueles que são
afetados tanto positiva como
negativamente
 secundários são os intermediários
envolvidos no processo de prestação
de serviços
 stakeholders chave
Stakeholders
 Doadores, financiadores
 Legisladores, gestores nacionais,
operadores locais, controladores,
reguladores
 Sindicatos, associações profissionais
 Associações de usuários, ongs
Serve para identificar
 grupos primários e secundários de
interesse no programa
 papel dos atores envolvidos
 conflito de interesses entre as partes
envolvidas
Serve para identificar
 possíveis entrevistados, pesquisados,
participantes de grupos focais
 grupos de apoio para introdução a
mudanças
Aplicação da técnica
 iniciar brainstorming para identificar
possíveis stakeholders
 selecionar stakeholders relevantes
 identificar o interesse de cada
stakeholder e seu poder de influência
Aplicação da técnica
 analisar os impactos (+ ou -) da atividade
do objeto de auditoria sobre os
stakeholders
 estimar o impacto nos stakeholders sobre
o objeto de auditoria (+ ou -)
Conteúdo da análise
Atores
Grupo
Papel
Grau de
Interesse
Impacto Prioridade
Interesse
- Estimar
o grau
de interesse
dedo seu
Identificar
o papel
do ator.
- Analisar
e registrar
os possíveis
Classificar
em
o interesse
- Levantar
o interesse
cada
ator
eClassificar
- Listar
o maior
número possível
de de
cada ator.
impactos
positivos
e negativos
ao
Possíveis
fontes:
Primário
ou
Secundário.
da
auditoria
pelo
ator:
poder
de
influência
sobre
o
programa.
grupos ou individuos que têm
interesse
.. altamente
favornão atenda aos
Programa
caso- aAlto
este
- legislaçãoCategorias: (++)
no programa.
(+) ....
levementedoa ator.
favor
interesses
- documentos
- Médio
- Cada
ator pode ter mais
um interesse
e
(0) .....de
indiferente
ou
indeciso
- entrevistas
- Baixo
(-) .....para
levemente
contra
condições
diferenciadas
exercer
influência.
- Ordenar por importância.
(--) .... Altamente contrar
- percepção
Mapa de Processo
O que é um mapa de processo?
 Representação gráfica de um processo.
 Detalha passos críticos/atividades
necessárias.
Mapa de Processo
 Contém pontos de decisão, fluxos de
informação, dados e documentos e
interfaces.
Características de um mapa de processo
 Descreve um processo passo a passo
 É um método visual e interativo que
envolve os auditores e o pessoal do
órgão auditado
Características de um mapa de processo
 Contém informações sobre
quantidades, qualidade e prazos
 Trata-se de um modelo de insumoproduto
 Como deve ser (processo segundo as
normas) => conformidade
 Como está sendo realizado (processo
real)
 Como seria melhor que fosse (forma
recomendada) => melhoria de
desempenho
 Que tipo de informações devem
ser apresentadas no mapa de
processo?
Resposta: depende do escopo da
auditoria
Informações apresentadas no
mapa de processo
 Descrição das atividades
 Pontos de tomada de decisão
 Movimento de informações e de
documentos
Informações apresentadas no
mapa de processo
 Pontos de controle
 Prazos
 Relação entre as etapas do
processo
Informações apresentadas no
mapa de processo
 O custo de cada passo ou atividade
 Impacto de inovações tecnológicas
 Limitações externas
 Tempo de execução de cada atividade
 Superposição
Mapa de Processo
35
Análise SWOT e
Diagrama de Verificação de Risco
S W
O T
36
O que significa SWOT?
É um acrônimo formado
pelas palavras inglesas:
S trengths - forças
W eaknesses - fraquezas
O pportunities oportunidades
T hreats - ameaças
37
Análise SWOT
integra as metodologias de planejamento
estratégico organizacional
ferramenta facilitadora do diagnóstico
institucional
ferramenta para organizar opinião sobre
o ambiente no qual opera o objeto de
auditoria
Quando deve ser
aplicada a análise SWOT?
Monitoramento
Análise
SWOT
Relatório
Execução
Planejamento
Seleção
Análise do ambiente: diagnóstico e
cenários
Ambiente Interno
Forças: características
internas que podem afetar
de modo positivo o
desempenho
Ambiente Externo
Oportunidades:
características externas não
controláveis com potencial
para ajudar a melhorar o
desempenho
Fraquezas: características
Ameaças: características
internas que podem inibir
externas não controláveis
ou restringir o desempenho que podem comprometer o
desempenho.
Exemplos de variáveis ambientes
AMBIENTE EXTERNO
AMBIENTE INTERNO
o
o
o
Sistema de atendimento
ao beneficiário;
(informação, ouvidoria,
linha 0800)
Qualidade da operação
do serviço
Divulgação do programa
o
o
o
o
o
Tecnologias existentes
usadas por outros
órgãos/programas
Política econômica
Legislação
Impactos no meio ambiente
Sistema financeiro
Exemplos de variáveis ambientes
AMBIENTE EXTERNO
AMBIENTE INTERNO
o
o
o
o
o
o
Infra-estrutura do serviço
Sistema de planejamento
Controle de custos
Distribuição de insumos
Pessoal
Programas de capacitação
o
o
o
o
o
o
Organizações da sociedade civil
(Sindicatos, ONGS, Redes de
Especialistas)
População alvo
Infra-estrutura na comunidade
beneficiária
Fatores geográficos
Fatores climáticos
Fornecedores de insumos
Fontes de informação
 Especialistas
 Gestores
 Revistas especializadas
 Mídia
 Relatórios internos
 Relatórios contratados
 Auditorias anteriores
 Controle interno
Passo a passo da SWOT
Em uma folha de papel,
desenhar 2 colunas
denominadas ”Ambiente
Interno e Ambiente
Externo”;
Na coluna ambiente
interno, abrir 2 caixas
denominadas “Forças” e
“Fraquezas”;
44
Passo a passo da SWOT
Na coluna ambiente
externo, abrir 2 caixas
denominadas
”Oportunidades” e
“Ameaças”
Utilizando um bloco de
“post-it”, iniciar
“brainstorming” para o
preenchimento do
quadro
45
Diagrama de verificação de risco
O que é
Passos para a elaboração da DVR
O que é verificação de risco?
Ferramenta de
diagnóstico que
ajuda a avaliar a
capacidade do
auditado de
identificar e gerir
seus riscos.
47
Para que usar?
 identificar os riscos que podem afetar o
desempenho do programa;
 auxiliar na formulação do problema de
auditoria;
Para que usar?
 assegurar que áreas de risco do
programa serão investigadas com
profundidade durante a auditoria;
 sistematizar e estruturar o
conhecimento dos gestores sobre seu
meio ambiente.
Modelo de diagrama de verificação de risco
Alto
Impacto
potencial no
alcance dos
objetivos
Baixo
Baixa
Probabilidade
Alto impacto
Alta
Probabilidade
Alto impacto
Baixa
probabilidade
Baixo impacto
Alta
Probabilidade
Baixo impacto
Baixa
Probabilidade de
ocorrência
Alta
Áreas de atenção no diagrama de
verificação de risco
probabilidade
Passos a serem seguidos
 Identificação dos pontos fracos e
ameaças a partir da análise SWOT
Conclusões para a auditoria
 A partir do DVR, a equipe será
capaz de identificar as áreas que
poderão ser investigadas com
maior profundidade
Quando deve ser elaborado o
diagrama de verificação de risco?
Monitoramento
Diagrama de
Verificação
de Risco
Relatório
Execução
Planejamento
Seleção
1. O que é produto ?
2. Por que se concentrar em produtos?
3. Razões para se elaborar o mapa de
produtos
4. Como elaborar o mapa de produtos
Produto é um bem, um serviço ou uma
condição resultante de atividade(s) de
uma organização ou de um indivíduo
Produtos devem ser observáveis
Exemplos: vacinas aplicadas, fiscalizações
efetuadas, multas lavradas, débitos
arrecadados
Razões para se elaborar mapa de produtos
Obter quadro claro sobre os objetivos
do órgão ou atividade auditada
Mostrar as relações de dependência
dos diversos produtos
Razões para se elaborar mapa de produtos
Identificar as áreas ou setores do
órgão responsáveis pelos produtoschave
Orientar o trabalho subseqüente de
construção e escolha dos indicadores
de desempenho
Como elaborar o mapa de produtos
 Convide os gestores para oficina de trabalho
na qual será usado o brainstorming para
identificar os produtos
 Selecione os produtos (não exagere no
número) para a atividade do programa ou
organização a ser auditada
 Identifique a hierarquia de produtos finais,
produtos intermediários e insumos
Como elaborar o mapa de produtos
 Disponha esses produtos de modo a
mostrar, por meio de setas, a relação de
causa e efeito entre eles
Insumos
Produtos
Intermediários
Causa e efeito
Produto Final
Causa e efeito
Diferenças entre um mapa de
processo e um mapa de produtos
 Um mapa de processo é uma seqüência
lógica de tarefas, atividades e do fluxo de
documentos em uma organização
 É usado para identificar oportunidades de
melhoria em um processo
 Esses processos contribuem para se chegar
aos produtos
Diferenças entre um mapa de
processo e um mapa de produtos
 Um mapa de produto é uma seqüência lógica
dos bens e serviços resultantes dos processos
 É usado para identificar produtos-chave e
construir indicadores de desempenho
 Cada seta no mapa de produtos representa
um processo
 É mais estável..
MATRIZ DE PLANEJAMENTO
O que é?
quadro resumo das informações
relevantes do planejamento de
uma auditoria
MATRIZ DE PLANEJAMENTO
Componentes:
 problema de auditoria;
 questões de auditoria;
 informações requeridas;
 fontes de informação;
 estratégias metodológicas;
MATRIZ DE PLANEJAMENTO
Componentes:
 métodos de coleta de dados;
 métodos de análise de dados;
 limitações;
 o que a análise vai permitir dizer.
MATRIZ DE PLANEJAMENTO
PROBLEMA: Enunciar de forma clara e resumida o aspecto a ser enfocado pela
auditoria, de acordo com o planejamento de auditoria previamente realizado.
MATRIZ DE PLANEJAMENTO
Por que usar?
Equaliza o entendimento da equipe, e
demais envolvidos, quanto :
 ao objetivo do trabalho
 aos passos a serem seguidos
 à metodologia a ser adotada
MATRIZ DE PLANEJAMENTO
Por que usar?
Orienta os integrantes da equipe na fase de
execução
Facilita a confecção do projeto de auditoria
MATRIZ DE PLANEJAMENTO
Como fazer ?
1. Após a aplicação de técnicas de
diagnóstico, especificar o problema que
será enfocado na auditoria
2. Determinar a linha de investigação,
mediante a subdivisão do problema em
questões de auditoria
MATRIZ DE PLANEJAMENTO
Como fazer ?
3. Determinar, para cada questão de
auditoria, o que a análise vai permitir
dizer (onde se deseja chegar com a
investigação)
4. Identificar as informações requeridas e
onde obtê-las
MATRIZ DE PLANEJAMENTO
Como fazer ?
5. Escolher as estratégias metodológicas
para responder às questões de auditoria
6. Escolher os métodos de coleta e análise
de dados que serão empregados
7. Realizar painel de referência
MATRIZ DE PLANEJAMENTO
Como fazer ?
8. Apresentar ao gestor a primeira versão da
matriz de planejamento
9. Refazer a matriz de planejamento, se for o
caso
QUESTÕES DE AUDITORIA
São os elementos centrais para determinar o
direcionamento da investigação (estabelecem
o foco, os limites e as dimensões a serem
observadas)
São fundamentais para o sucesso das
auditorias.
QUESTÕES DE AUDITORIA
Devem ser:
 articuladas e coerentes (o conjunto deve ser
capaz de esclarecer o problema de
auditoria)
 viáveis (deve ser possível respondê-las)
Deve-se conceber, conjuntamente, os critérios
de auditoria
QUESTÕES DE AUDITORIA
Tipos de questões:
 Descritivas: fornecem informações sobre o
objeto de auditoria.
Exemplo: “Como o Departamento de
Arrecadação identifica os devedores
inadimplentes?”
QUESTÕES DE AUDITORIA
Tipos de questões:
 Normativas: tratam de comparações entre
o desempenho atual e o estabelecido em
norma, padrão ou meta.
Exemplo “Os projetos aprovados atendem
aos requisitos de preservação ambiental
previstos no Acordo de Cooperação
Técnica?”
QUESTÕES DE AUDITORIA
Tipos de questões:
 Avaliativas (ou de causa-e-efeito):
referem-se à efetividade do programa
Exemplo: “Em que medida o Programa
tem contribuído para a melhoria das
condições de habitabilidade dos
beneficiários ?”
QUESTÕES DE AUDITORIA
Tipos de questões:
 Exploratórias: Destinadas a explicar eventos
específicos, esclarecer os desvios em relação
ao desempenho padrão e as razões de
ocorrência de um determinado resultado.
Exemplo: “Que fatores explicam o aumento
expressivo nos gastos com pagamento dos
benefícios de auxílio-doença nos últimos dez
anos?”
INFORMAÇÕES REQUERIDAS
 Devem ser relacionadas todas as informações
requeridas para responder à questão da
auditoria
 As informações coletadas e analisadas podem
se constituir em evidências dos achados de
auditoria
INFORMAÇÕES REQUERIDAS
 Muitas vezes é recomendável o uso de mais
de um tipo de evidência, de forma a
fortalecer as conclusões finais
 Deve-se considerar os custos de obtenção e o
valor agregado para a auditoria.
(Diretrizes da Intosai 3000/3.3)
FONTES DE INFORMAÇÃO
Devem ser identificadas as fontes de
cada item de informação, tais como:
 órgãos auditados  órgãos de pesquisa
 servidores
 especialistas
 beneficiários
 legislação
 ONGs
 imprensa
ESTRATÉGIAS METODOLÓGICAS
Métodos requeridos para investigar as
questões formuladas
Principais tipos:
1. Pesquisa bibliográfica
2. Pesquisa documental
3. Pesquisa (probabilística ou não)
ESTRATÉGIAS METODOLÓGICAS
Métodos requeridos para investigar as
questões formuladas
Principais tipos:
4. Estudo de caso
5. Delineamentos (experimentais, quaseexperimentais e não-experimentais)
ESTRATÉGIAS METODOLÓGICAS
Pesquisa bibliográfica
 Busca de informações e de material
já elaborado, como livros, artigos
científicos e publicações periódicas.
ESTRATÉGIAS METODOLÓGICAS
Pesquisa documental
 Busca de informações a partir de
documentos que não receberam tratamento
analítico, escritos (memorandos, ofícios,
documentos cartoriais) ou não escritos
(fotografias, filmes).
ESTRATÉGIAS METODOLÓGICAS
Pesquisa
Os dados obtidos a partir de interrogação
direta às pessoas ou entidades cujo
comportamento ou características se busca
conhecer.
ESTRATÉGIAS METODOLÓGICAS
Pesquisa
Sua utilização permite:
 obter informações descritivas de uma
população ampla;
 conhecer opiniões de beneficiários,
executores e outros atores interessados
dos programas auditados.
ESTRATÉGIAS METODOLÓGICAS
Pesquisa
Pode ser realizado por meio de
questionários enviados pelo correio,
Internet, aplicados face a face ou por
telefone, ou por meio do exame de
registros administrativos.
ESTRATÉGIAS METODOLÓGICAS
Estudo de caso
“Um estudo de caso é um método para
conhecer uma situação complexa, baseado
em uma compreensão abrangente da
situação, obtida a partir da ampla descrição e
análise da mesma, considerada como um
todo e no seu contexto.” (GAO, 1990)
ESTRATÉGIAS METODOLÓGICAS
Estudo de caso
Suas principais características são:
 uso de métodos qualitativos de coleta de
dados (entrevista; grupo focal; observação
direta)
 não-utilização de amostragem probabilística
 análise concomitante à coleta de dados
MÉTODOS DE COLETA DE DADOS
Definição de como os dados serão
coletados.
 questionários
 entrevistas
 grupo focal
 exame de registros administrativos
MÉTODOS DE COLETA DE DADOS
Definição de como os dados serão
coletados.
 consulta a bancos de dados
 observação direta
 leitura da bibliografia
MÉTODOS DE ANÁLISE DE DADOS
Como os dados são organizados, relacionados
e interpretados com o objetivo de
proporcionar resposta às questões de
auditoria.
Envolvem técnicas de análise qualitativa e
quantitativa, como análises estatísticas e
técnicas específicas de tratamento de dados.
MÉTODOS DE ANÁLISE DE DADOS
Principais tipos:
 análise de conteúdo
 regressão
 testes de diferenças entre médias
 tabulação de freqüências
 análise de séries temporais
MÉTODOS DE ANÁLISE DE DADOS
Principais tipos:
 triangulação
 benchmarking (comparações de
desempenho e processos)
 análise do mapa de processos
LIMITAÇÕES
Deve-se apontar as limitações inerentes:
 à estratégia metodológica, método de
coleta ou de análise de dados
(possibilidade generalização dos
resultados do estudo) ou materiais)
LIMITAÇÕES
Deve-se apontar as limitações inerentes:
 aos dados disponíveis (dificuldades de
acesso ou sua qualidade ou
confiabilidade)
 condições operacionais de realização
da auditoria (recursos humanos ou
materiais)
O QUE A ANÁLISE VAI PERMITIR DIZER
Deve-se esclarecer precisamente que
conclusões ou resultados podem ser
alcançados a partir da estratégia
metodológica adotada e considerando
as limitações existentes.
“Se fizeres planos para um ano,
planta arroz. Se fizeres planos
para uma década, planta árvores.
Se fizeres planos para uma vida
inteira, educa uma pessoa.”
Provérbio Chinês