TCEMG - Curso de Pós-Graduação em Direito Público: Controle de Contas, Transparência e Responsabilidade Disciplina: Execução, Relatório e Monitoramento em Auditoria Operacional AULA 02 Instrutor: HENRIQUE HERMES GOMES DE MORAIS Auditor Fiscal da Receita Estadual Superintendente de Auditorias e Tomadas de Contas Especiais Controladoria Geral do Estado de Minas Gerais [email protected] Fevereiro/2013 O Processo de Auditoria de Natureza Operacional Seleção do objeto, equipes, recursos e prazos de entrega da auditoria. I – Planejamento Elaboração da Matriz de Planejamento. Coleta de dados, avaliação e consolidação dos dados, elaboração II - Execução da Matriz de Achados e do Relatório de Auditoria. Referenciação e arquivamento dos III – Finalização papéis de trabalho, encaminhamento do Relatório de Auditoria ao gestor e dos trabalhos autoridades competentes. Acompanhamento e monitoramento IV – Pós-auditoria do objeto auditado para verificação do cumprimento das recomendações. MODELO DE MATRIZ DE PLANEJAMENTO DE AUDITORIA PROBLEMA: Enunciar de forma clara e resumida o aspecto a ser enfocado pela auditoria, de acordo com o levantamento de auditoria previamente realizado. QUESTÃO DE AUDITORIA Especificar os termos chave e o escopo da questão: período de abrangência; população alvo; área geográfica. INFORMAÇÕES REQUERIDAS FONTES DE INFORMAÇÃO Identificar as informações necessárias para responder a questão de auditoria. Identificar as fontes de cada item de informação. ESTRATÉGIAS METODOLÓGICAS Especificar as comparações a serem feitas, as técnicas amostrais a serem utilizadas: estudo de caso; pesquisa; delineamento experimental; delineamentos quase experimentais; delineamentos não experimentais MÉTODOS DE COLETA DE DADOS Especificar os métodos de coleta a serem empregados, quais sejam: entrevistas (estruturadas ou não estruturadas); questionário enviado pelo correio; observação direta; dados secundários. MÉTODOS DE ANÁLISE DE DADOS Especificar as técnicas a serem utilizadas na análise de dados, quais sejam: estatística descritiva; análise qualitativa; análise de conteúdo; outras. O QUE A ANÁLISE VAI LIMITAÇÕES PERMITIR DIZER Especificar as Esclarecer limitações precisamente relativas: que à estratégia conclusões metodológica ou adotada; à resultados qualidade das podem ser informações; alcançados às condições a partir da operacionais estratégia de realização metodológica do trabalho. adotada. EXEMPLO DE MATRIZ DE PLANEJAMENTO PROJETO ESTRUTURADOR LARES GERAES O Brasil possui um enorme déficit de moradias ocasionado principalmente pela fragilidade das políticas habitacionais adotadas. O problema tem como principais raízes o êxodo rural e o crescente fluxo migratório, resultantes da expectativa da melhoria de qualidade de vida na grande região metropolitana. Com o objetivo de reduzir o déficit habitacional no Estado, em parceria com os municípios, com o governo federal e entidades privadas e não governamentais, o governo do Estado criou o programa estruturador Lares Geraes com o intuito de construir e financiar moradias para beneficiar prioritariamente famílias com renda mensal de até 3 salários mínimos. Questão de Auditoria: De que maneira o Programa tem contribuído para a melhoria das condições de vida das famílias beneficiadas e para a redução do déficit habitacional no Estado de Minas? (eficácia, efetividade) MATRIZ DE PLANEJAMENTO DE AUDITORIA Informações requeridas Fontes de informação 1 - Séries históricas, de 2000, da evolução do déficit habitacional no Estado. Se possível, discriminar por região e municípios. - Fundação João Pinheiro; - IBGE: banco de dados; - COHAB; - Associação Mineira dos Municípios; - Associações MicroRegionais; - Secretarias Municipais de Habitação; - Ministério das Cidades; - INTERNET Estratégias Métodos de Metodológi Coleta de cas Dados - Pesquisa Documental - Pesquisa por meio eletrônico; - Coleta de dados por meio eletrônico. - Livros - Estudos publicados Métodos de Análise de Dados - Análise comparativa das séries históricas de 2005, por regiões e por municípios mineiros. - análise qualitativa dos dados e informações coletados. - estudo estatístico comparativo das séries históricas do déficit habitacional. Limitações - Existência de muitas variáveis; - Existência de vários conceitos de déficit habitacional. - Inexistência de estudos mais recentes sobre o déficit habitacional no Estado. O que a análise vai permitir dizer - Se pode ser aferida a redução do déficit habitacional de algumas regiões e municípios; - Se a seleção dos municípios condiz com a realidade demonstrada no estudo estatístico. - A eficácia do Indicador de Desempenho do Programa. Execução da Auditoria de Natureza Operacional Após a elaboração da Matriz de Planejamento, inicia-se a fase de execução dos trabalhos de auditoria, quando são realizados: os trabalhos em campo; teste-piloto; coleta de dados; consolidação dos dados; elaboração da matriz de achados. Execução da Auditoria de Natureza Operacional A Matriz de Planejamento deve ser considerada pela equipe como um instrumento dinâmico que permite visualizar o encadeamento lógico do trabalho. Trabalhos de Campo Os trabalhos de campo compreendem todos os esforços da equipe para acumular, classificar e avaliar informações e evidências, mediante a aplicação de questionários, realização de entrevistas, exame físico das instalações e empreendimentos executados no programa avaliado, no intuito de capacitá-la a formar sua opinião. Trabalhos de Campo É a primeira das fases de execução de auditoria e devem ser observados: conhecimento do Programa a ser auditado; conhecimento da Matriz de Planejamento (intuito de responder as questões de auditoria propostas); elaboração dos questionários a serem aplicados nos beneficiários e stakeholders. Trabalhos de Campo Procedimentos para a realização das visitas: traçar roteiros; agendar entrevistas; solicitar transporte para a equipe de auditoria; solicitar diárias de viagem para os servidores; solicitar equipamentos (máquinas fotográficas, palmtops e/ou notebooks); reservar hotel; preparar o roteiro das entrevistas e imprimir os questionários a serem aplicados; Trabalhos de Campo Procedimentos para a realização das visitas: agendar, com antecedência, entrevistas com prefeitos ou pessoas relacionadas com o programa; preparar o material das entrevistas, tais como: questionários, check lists, materiais de consulta, palmtops, máquinas fotográficas, trena, cone, rádio transmissor; enviar previamente, quando necessário, via e-mail, questionários cujas informações exijam tempo maior de resposta, de forma a agilizar a visita técnica. Trabalhos de Campo Deve-se atentar para as seguintes questões: 1. Todos os membros da equipe têm conhecimento de suas funções e dos objetivos que perseguem? 2. A programação do trabalho está sendo seguida? 3. Os entrevistados têm capacidade para responder as perguntas formuladas, de modo a não comprometer a coleta de dados? 4. As normas de auditoria estão sendo cumpridas? 5. As constatações de auditoria estão suportadas por documentos e papéis de trabalho corretamente preenchidos? Trabalhos de Campo Participação de consultores externos para a orientação acerca de temas específicos quando não dominados pelos integrantes da equipe de auditoria. Trabalhos de Campo Para evitar possíveis questionamentos pela parte auditada, o auditor deverá atentar para os seguintes aspectos: conhecimento da operação em exame e dos procedimentos de auditoria; revisão permanente dos papéis de trabalho; fundamentação adequada dos fatos e problemas observados; sugestões, acerca da melhoria dos sistemas de controle interno e dos procedimentos observados, apresentadas com embasamento técnico; Trabalhos de Campo Para evitar possíveis questionamentos pela parte auditada, o auditor deverá atentar para os seguintes aspectos: possíveis reduções de custos e melhoria da eficiência; aprofundamento do exame sempre que diante de qualquer indício de anormalidade, mesmo que lhe pareça insignificante; consideração informalmente. das informações obtidas Trabalhos de Campo A seleção dos municípios a serem visitados é feita com base nas informações disponibilizadas pelo auditado, utilizando-se de critérios que possam melhor responder às questões de auditoria constantes da Matriz de Planejamento, tais como: estratificação por região de planejamento; locais com maior número de execução física do objeto de auditoria; locais onde foram alocados mais recursos; regiões com maior número de pessoas atendidas; situação específica informada pelo auditado. Realização de Teste-Piloto Técnica utilizada para validar e ajustar as tarefas e instrumentos de coleta de dados propostos, que permite conferir as seguintes questões: as premissas iniciais acerca do funcionamento do objeto auditado; a estratégia metodológica proposta na Matriz de Planejamento; a adequação dos instrumentos de pesquisa e entrevista (questionários, roteiro de observação direta, roteiro de entrevista, roteiro de grupo focal); a qualidade e a confiabilidade dos dados que se pretende coletar. Realização de Teste-Piloto O teste-piloto deve ser realizado, preferencialmente, onde o objeto de auditoria apresentar entraves potenciais à condução dos trabalhos, o que permite à equipe antecipar as dificuldades que possivelmente seriam enfrentadas durante a execução da avaliação. Permite, ainda, que a equipe conheça problemas que poderão vir a ocorrer nos demais locais, ajuste o tamanho da amostra, se necessário, e saiba se a estratégia metodológica atenderá satisfatoriamente às questões propostas pela auditoria. Recomenda-se, entretanto, a escolha de um local mais próximo da sede do órgão/entidade a que pertence a unidade de auditoria, visando à redução de custos. Coleta de Dados Os métodos mais comuns de coleta de dados são: Entrevista; Questionário; Observação direta; Utilização de dados secundários. Ao se optar por um método de coleta de dados, devese considerar, primeiramente, a conveniência de que sejam utilizados instrumentos que obedeçam ou não a um padrão pré-elaborado (estruturado). Vantagens e Desvantagens do Instrumento de Coleta de Dados Vantagens Desvantagens atinge um maior número o desenvolvimento e o de pessoas; pré-teste da coleta são possibilita a comparação demorados; das respostas; requer conhecimento viabiliza a análise especializado; estatística; é difícil garantir o rigor possibilita a das informações generalização das prestadas. conclusões, no caso de amostras aleatórias. Entrevista Método de coleta de dados onde se obtém informações a partir do contato direto com o entrevistado, permitindo maior controle sobre a qualidade dos dados coletados, quando comparada aos questionários enviados pelo correio. Questionário Instrumento de coleta de informações aplicável a qualquer tipo de unidade de análise que contenha variáveis relevantes para a avaliação. Vantagens: baixo custo; desnecessidade de entrevistadores e de treinamento; desnecessidade de deslocamento de pessoal; pode-se obter informação de uma amostra numerosa e dispersa. Observação Direta Método de coleta de dados no qual o pesquisador utiliza os próprios sentidos para obter informações. Constitui fonte valiosa de informações e requer treinamento e preparação específica em, por exemplo, técnicas de anotação de campo, bem como capacidade de concentração e percepção seletiva. O observador treinado deve ser capaz de conferir exatidão, validade e confiabilidade às informações coletadas. É muito empregada em avaliações de programa do tipo qualitativa, como estudos de caso Vantagens permite ao observador compreender o contexto no qual se desenvolvem as atividades do programa; permite que o observador testemunhe os fatos; permite que o observador perceba aspectos que escapam aos participantes envolvidos com o programa; pode captar aspectos do programa sobre os quais os participantes não desejam falar numa entrevista; traz para a análise as percepções do próprio observador; permite que o observador forme impressões que extrapolem o que é possível registrar,. O método de Utilização de Dados Secundários é um procedimento que considera dados já existentes obtidos de sistemas gerenciais ou pesquisas realizadas anteriormente e podem prover material relevante e suficiente para o desenvolvimento dos trabalhos, observando sempre: → que tipo de dado está disponível? → os dados disponíveis são adequados para responder à questão que se pretende investigar? → os dados estão completos e o período de abrangência é suficiente para a análise? → de que forma o dado está armazenado? → quais as limitações relativas à forma dos dados e quais as dificuldades existentes para a sua obtenção? → que atividades de coleta são realizadas regularmente? → foi realizada coleta de dados com objetivo específico? → há outras fontes relevantes de dados para o tema a ser investigado? EXEMPLOS DE QUESTIONÁRIOS PARA COLETA DE DADOS