VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003
A experiência do Tribunal de Contas da União do Brasil
na avaliação de programas de governo
Maridel Piloto de Noronha
I.
Antecedentes
A fiscalização contábil, financeira, orçamentária, operacional e patrimonial da União e das
entidades da administração direta e indireta, quanto à legalidade, legitimidade, economicidade,
aplicação das subvenções e renúncia de receitas no Brasil é exercida pelo Congresso Nacional,
mediante controle externo, com o auxílio do Tribunal de Contas da União-TCU. Além do TCU, vinte e
seis Tribunais de Contas estaduais, o Tribunal de Contas do Distrito Federal, e mais oito tribunais de
contas municipais, exercem o controle externo como órgãos auxiliares dos poderes legislativos
estaduais, distrital e municipais, respectivamente.
O Tribunal de Contas da União é uma instituição centenária, criada pelo Decreto 966-A, de
7/11/1890. A evolução histórica do TCU registrou a expansão e contração das competências do órgão
em diversos momentos da história brasileira. As competências atuais constam no art. 71 da
Constituição Federal de 1988 e abrangem atividades tais como: elaboração de pareceres prévios sobre
as contas dos chefes dos poderes Executivo, Legislativo e Judiciário; julgamento das contas dos
administradores e demais responsáveis por recursos públicos; apreciação da legalidade dos atos de
concessão de aposentadorias, reformas, pensões e admissão no Serviço Público Federal; realização de
auditorias e inspeções; fiscalização de renúncia de receitas e de atos e contratos administrativos; exame
de consultas sobre a aplicação de dispositivos legais, concernentes à matéria sob jurisdição do TCU;
prestação de informações para o Congresso Nacional sobre a fiscalização contábil, financeira,
orçamentária, operacional e patrimonial e sobre resultados de auditorias e inspeções realizadas.
O TCU é um órgão colegiado, composto por nove ministros, que tem jurisdição própria e
privativa em todo território nacional sobre as pessoas e matérias afetas à sua competência. A gerência
da área técnico-executiva do Tribunal é exercida pela Secretaria-Geral de Controle Externo, à qual
estão subordinadas as unidades sediadas em Brasília e nos vinte e seis estados da federação.
A Constituição de 1988 atribuiu ao TCU competência para realizar auditorias de natureza
operacional, também denominada auditoria de desempenho, auditoria de gestão ou Value for Money
por Entidades de Controle Externo-EFS de outros países. No entanto, antes mesmo dessa designação, o
TCU já se preparava para conferir maior transparência aos atos praticados pelos gestores públicos e
para avaliar o resultado produzido por suas ações. A adoção de novas rotinas e processos de trabalho no
TCU foi precedida por um intenso esforço de treinamento dos servidores, realizado com o apoio das
Entidades de Fiscalização Superiores dos Estados Unidos, do Canadá e do Reino Unido.
Ainda na década de 80, dois servidores participaram de treinamento em auditoria operacional
promovido pela Auditoria Geral do Canadá e, ao longo da década seguinte, foram intensificadas as
iniciativas de intercâmbio, com a regular participação de servidores em cursos de treinamento no
General Accounting Office - GAOAO e no National Auditing Office – NAO, entidade de fiscalização
superior1 britânica. A partir de 2000, o TCU voltou a participar do treinamento oferecido pela EFS
canadense.
Em 1996, o TCU patrocinou o Projeto de Capacitação em Avaliação de Programas Públicos,
desenvolvido com o apoio da Fundação Getúlio Vargas, em parceria com a Virginia Polytechnic
Institute and State University e a National Academy of Public Administration. Um dos principais
produtos desse Projeto de Capacitação foi a elaboração do Manual de Auditoria de Desempenho,
1
Entidades de Fiscalização Superior: denominação adotada para as instituições centrais de controle externo.
VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003
posteriormente denominado Manual de Auditoria de Natureza Operacional, que trata dos
procedimentos básicos adotados pelo corpo técnico do TCU nos trabalhos de auditoria operacional e de
avaliação de programa. Além de apresentar as principais metodologias empregadas em trabalhos dessa
natureza, o Manual introduziu um novo instrumento de planejamento dos trabalhos de auditoria, a
Matriz de Planejamento, originalmente desenvolvida pelo GAO, e que vem sendo utilizada inclusive
nas auditorias de conformidade realizadas pelo TCU.
O treinamento do corpo técnico evidenciou que para a realização de auditorias de natureza
operacional seria necessária a utilização de metodologia específica e sofisticadas técnicas de coleta e
análise de dados no campo da pesquisa social, em função da complexidade das atividades e dos
programas a ser avaliados. Tais exigências eram imprescindíveis para conferir aos trabalhos a
qualidade e utilidade desejada, essenciais não apenas para convencimento do público externo, mas,
principalmente, dos técnicos e autoridades do TCU responsáveis pela implementação dessa nova
modalidade de atuação do órgão.
Essa constatação decorreu da realização de auditorias de natureza operacional, iniciados em
meados dos anos 80, cujos resultados denotaram a necessidade de adoção de metodologia que
possibilitasse a avaliação da ação governamental quanto a economicidade, eficiência, e efetividade.
Eficácia.
Com o intuito de suprir a necessidade de instrumentos adequados para a realização das
auditorias dessa natureza e fiel à visão institucional de ser reconhecido como instituição de excelência
no controle da administração pública, o TCU implantou, em 1998, o Projeto de Desenvolvimento de
Técnicas de Auditoria de Natureza Operacional, com vigência de três anos - de junho de 1998 a junho
de 2001-, com o apoio do Reino Unido. Foram realizadas, no âmbito desse Projeto, vinte e quatro
auditorias de natureza operacional em programas das áreas de saúde, educação, meio ambiente,
assistência social e agricultura.
Em decorrência dos resultados do Projeto, avaliado positivamente pelo Tribunal e pelo
Department for International Development – DFID/UK, foi assinada a fase II do acordo, intitulada
“Projeto de Aperfeiçoamento do Controle Externo com Foco na Redução da Desigualdade Social –
CERDS”, cujo objetivo é intensificar o uso de metodologias de avaliação de programa, focando
especialmente na questão da redução da pobreza e da desigualdade social. Em 2002, foram realizadas
cinco auditorias em programas de governo das áreas de saneamento, segurança, assistência social,
educação e infra-estrutura. Além dessas, o TCU, numa tentativa de abordar temas relevantes,
independentemente de sua vinculação programática ou ministerial, realizou auditoria no Cadastro
Único dos Programas Sociais do Governo Federal, que tem como função registrar os beneficiários de
programas sociais de transferência de renda, tais como: Bolsa-escola, Bolsa-alimentação, Auxílio-gás,
Bolsa-criança-cidadã e Programa Nacional de Agricultura Familiar.
Decorridos cinco anos da assinatura do Acordo de Cooperação Técnica com o Reino Unido, o
Tribunal já publicou sete documentos sobre técnicas aplicadas às auditorias de natureza operacional –
Análise SWOT e Verificação de Risco, Benchmarking, Mapa de Produto e Indicadores de Desempenho,
Mapa de Processo, Análise Stakeholder, Análise RECI, Marco Lógico -, além do Roteiro para
Monitoramento das Auditorias de Natureza Operacional e Roteiro para Controle de Qualidade das
Auditorias de Natureza Operacional. O TCU está, atualmente, elaborando um documento técnico sobre
grupo focal, sobre normas para elaboração de relatório e revisando o Manual de Auditoria de Natureza
Operacional.
As iniciativas de treinamento implementadas na área de auditoria de natureza operacional ou
auditoria de desempenho denotam o pioneirismo do TCU ao trazer para o Brasil a modalidade de
controle que mais se desenvolveu nas últimas décadas e que vem assumindo relevante papel na
modernização das instituições públicas em diversos países. Mais do que isso, dotou o Tribunal de
Contas da União de capacidade técnica para realizar a fiscalização e a avaliação de programas de
governo, num momento em que os sistemas de planejamento e de orçamento do governo federal estão
2
VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003
organizados para trabalhar com foco na mensuração de desempenho.
II.
Porque realizar auditorias de natureza operacional?
Várias organizações e Entidades de Fiscalização Superiores realizam trabalhos de auditoria de
desempenho, no Reino Unido, no Canadá, nos Estados Unidos, entre outros. Segundo Barzelay (2002),
a auditoria de desempenho é cada vez mais adotada como uma atividade de revisão governamental “ex
post”. Tal comportamento é acompanhado de duas constatações: a inclusão desse tipo de trabalho na
rotina das entidades de controle é uma decisão institucional, forçada por conjunturas próprias dos
países dos quais fazem parte e o conceito de auditoria de desempenho varia de acordo com o país em
que ele é adotado ( Pollit, 1999 ) .
Recentemente, a discussão sobre gerência por desempenho no setor público brasileiro foi
introduzida como uma das justificativas para a aprovação de uma reforma administrativa, datada de
1998. Outro fator que sinalizava a mudança de enfoque de atuação da administração pública foi a
revitalização do sistema de planejamento estatal e a introdução da idéia de monitoramento de
programas prioritários de governo, por intermédio do Sistema de Informações Gerenciais.
A mudança no objeto do controle, ou seja, a administração pública, permitiu o questionamento
do papel da Corte de Contas frente as necessidades da sociedade e a adoção de novas práticas no
âmbito da instituição. Um dos muitos desafios do controle é o de acompanhar as inovações propostas
para a reforma do Estado, no sentido de elevar os níveis de transparência, torná-lo mais permeável à
participação e ao controle dos cidadãos e mais eficaz e ágil no atendimento das demandas da sociedade.
Há inúmeros fatores, entretanto, que podem prejudicar a realização de auditorias de
desempenho por parte das entidades de controle. O primeiro é de caráter interno, e acha-se relacionado
ao papel judicante pelo qual as instituições são normalmente reconhecidas e que, sem sombra de
dúvida, contribuem com uma importante parcela de poder daqueles que o exerce. O segundo acha-se
relacionado à implementação da mudança do foco de atuação e à resistência do corpo técnico
envolvido. Incluem-se neste ponto não somente as resistências individuais, mas, sobretudo, as
departamentais, em seu menor nível de hierarquia, as quais, num primeiro momento, procurarão manter
todas as competências até então a elas atribuídas.
O TCU realizou em 2000 o diagnóstico sobre sua atuação e vem implementando alterações em
sua estrutura. Desde 2001, adotou novos procedimentos e alterou profundamente a estrutura existente e
vários de seus processos de trabalho. Tais inovações fizeram-se presente tanto na área de fiscalização
quanto na de exame de processos e demais procedimentos relacionados à prestação de contas dos
gestores. A criação da Secretaria de Fiscalização e Avaliação de Programas de Governo – Seprog, no
final de 2000, representou a efetiva institucionalização dos trabalhos de avaliação de programa no
TCU e o reconhecimento de sua importância para o desempenho das funções de controle.
Com a criação da Secretaria de Fiscalização e Avaliação de programas de Governo, o TCU
intensificou a oferta de cursos sobre metodologias e técnicas de auditoria de natureza operacional para
servidores de outras instituições públicas, com preferência para os integrantes de órgãos de controle.
Dessa forma, os conceitos adotados pelo TCU estão sendo disseminados entre os agentes responsáveis
pelo controle das atividades e pelo gerenciamento dos programas públicos.
III.
Características do processo de trabalho das auditorias de natureza operacional
No TCU, define-se auditoria de natureza operacional - Anop como sendo “a avaliação
sistemática dos programas, projetos, atividades e sistemas governamentais, assim como dos
órgãos e entidades jurisdicionadas ao Tribunal”2 . As Anop podem ser de dois tipos: auditoria de
desempenho operacional e avaliação de programas.
O objetivo da auditoria de desempenho operacional é examinar a ação governamental quanto
2
Manual de Auditoria de Natureza Operacional do Tribunal de Contas da União-TCU, pp 15.
3
VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003
aos aspectos da economicidade, eficiência e eficácia, enquanto a avaliação de programa busca
examinar a efetividade dos programas e projetos governamentais.
O trabalho de auditoria de natureza operacional é dividido nas fases de seleção do tema, estudo
de viabilidade, planejamento, execução e relatório da auditoria, apreciação, divulgação e
monitoramento.
A seleção do tema de auditoria obedece a uma orientação estratégica de atuação do Tribunal e é
baseada em critérios de materialidade, risco e relevância, para os quais são atribuídos pesos
diferenciados, de forma a equilibrar a valoração final dos programas Para as avaliações de programa, a
materialidade é importante, mas não se configura fator decisivo para a escolha do programa que será
avaliado. Nesse caso, privilegia-se a relevância social do programa.
Utiliza-se uma matriz de risco para sistematizar a seleção dos temas de auditoria. Essa matriz
foi elaborada de modo a permitir a ponderação de fatores relacionados à relevância do programa de
governo, isto é, configura-se um critério de avaliação qualitativo que busca levantar a importância
relativa das ações em estudo, independentemente de sua materialidade.
De modo a ordenar os programas de acordo com o critério relevância, os programas sinalizados
como prioritários pelo governo federal, segundo disposto na Lei de Diretrizes Orçamentárias, recebem
uma pontuação adicional caso estejam previstos em planos de governo de maior relevância.
O segundo critério obedecido é o risco, isto é, a suscetibilidade de ocorrência de eventos
indesejados na execução do programa. Considera-se situação de risco a execução descentralizada, o
grau de discricionariedade, a multiplicidade de gestores e a existência de avaliação única dos
programas pelos próprios gerentes.
A materialidade é mensurada segundo uma relação direta do volume do aporte de recursos.
A matriz de risco é aplicada duas vezes: uma para a ordenação dos programas de governo e
outra para ordenar as ações integrantes dos programas de governo mais pontuados. Esse ordenamento
permite a racionalização do trabalho de auditoria e indica as áreas prioritárias para atuação do órgão de
controle. Trata-se de estratégia que contempla a avaliação de programas fundamentais, entre os mais de
380 previstos para a consecução Plano Plurianual vigente para o período de 2000-2003.
A etapa final do processo de seleção dos trabalhos de auditoria é a realização dos estudos de
viabilidade. O TCU implementou essa etapa na seleção das auditorias, pois a realização de pesquisa
sistemática e de entrevistas com gerentes e pessoas envolvidas com o programa e suas ações permite,
no prazo de aproximadamente duas semanas, definir se o programa possui tempo de execução, dados e
fluxo de recursos suficientes para ser avaliado. Tal procedimento evita a programação de auditorias
com pouca ou nenhuma utilidade. O relatório de viabilidade aborda: a importância e relevância do
tema; as formas de execução, o tempo de existência e a materialidade do programa; a existência ou o
comportamento de indicadores de desempenho; a disponibilidade e confiabilidade de dados; os pontos
fortes a as possíveis limitações à execução da auditoria. A equipe manifesta-se, ao final do relatório de
estudo de viabilidade, sobre a conveniência de realizar o trabalho, considerando questões afetas à
imagem do TCU perante a mídia, à sociedade civil organizada e ao Congresso Nacional.
O trabalho de auditoria do tema selecionado é realizado, normalmente, em dez semanas,
distribuídas da seguinte forma: cinco semanas para o planejamento; duas semanas para a execução e
três semanas para o relatório da equipe.
Na fase de planejamento são aplicadas técnicas e são coletados dados que permitem definir o
foco do trabalho, ou seja, a questão de auditoria. Com esse intuito, são realizadas entrevistas abertas
com os gestores de modo a identificar stakeholders3 relevantes para o programa. Uma vez
identificados, procede-se à coleta de informações, normalmente mediante entrevistas estruturadas ou
semi-estruturadas, que subsidiem uma Análise Stakeholder.
Ainda nessa fase, utiliza-se a Análise SWOT, a qual permite identificar as forças (Strenghs),
3
Stakeholder: atores relevantes para o programa.
4
VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003
fraquezas (Weaknesses) oportunidades (Opportunities) e desafios (Treaths) do programa ou ação
auditada. Alia-se ao resultado da Análise SWOT, a Verificação de Risco, a qual mapeia as situações
relevantes de acordo com o alto ou baixo nível de ocorrência. Tais análises subsidiam a decisão sobre o
foco do trabalho de auditoria.
A utilização de mapas de processos e de produtos depende do objetivo da auditoria e deve
considerar a relação custo X benefício de utilização dessas técnicas de mapeamento. No entanto, se o
programa não dispuser de indicadores de desempenho, os quais serão construídos em conjunto com a
equipe de auditoria, o uso dessas técnicas torna-se imprescindível.
Outra técnica empregada nos trabalhos de auditoria é a análise RECI, que permite identificar em
uma organização os agentes responsáveis (R), executores (E), consultados (C) e informados (I) quando
da implementação de um determinado programa, é recomendada quando o objetivo do trabalho é o de
avaliar os processos organizacionais adotados.
O produto final do planejamento da auditoria é um relatório, padronizado, que agrega e ajusta as
informações contidas no estudo de viabilidade. O relatório de planejamento, submetido ao Ministrorelator responsável pela condução da auditoria, para aprovação, contém uma matriz de planejamento.
É na matriz de planejamento que a equipe declara o problema de auditoria, isto é, a razão pela
qual o trabalho de fiscalização é proposto. Além do problema de auditoria, constam da matriz as
questões de auditoria, ou seja, o caminho que deverá ser percorrido para que se tenham informações
necessárias à formação de um juízo e da formulação de recomendações para enfrentar o problema
declarado inicialmente. Para cada questão, a equipe define as informações necessárias para respondê-la,
as fontes de informações, estratégicas metodológicas que serão utilizadas, as técnicas de coleta e
análise de dados, as possíveis limitações à utilização da abordagem proposta pela questão de auditoria
e, por fim, o que a análise dessa questão permitirá dizer.
A disponibilização das informações na matriz de planejamento obedece a um encadeamento
lógico. Uma vez preenchida, a matriz revela-se como um instrumento bastante útil para uniformizar o
entendimento da equipe, normalmente composta por quatro ou cinco analistas, quanto aos conceitos e
procedimentos adotados, bem como para direcionar a execução dos trabalhos e o registro de
informações relevantes no relatório.
A realização de auditorias de natureza operacional é submetida a rigoroso controle de qualidade.
O acompanhamento das etapas da auditoria, é realizada mediante a adoção de cronograma - com
discriminação das atividades, responsáveis e prazos de execução - verificação do conteúdo dos
relatórios e verificação do rigor metodológico na aplicação das técnicas de auditoria, é efetuado por um
supervisor, designado, normalmente, entre diretores.
Outra prática de controle de qualidade adotada pelo TCU desde 2001 é a realização de Painéis
de Referência com especialistas da área em questão. O Painel de Referência é organizado em dois
momentos diferentes da auditoria: ao final da fase de planejamento e ao final dos trabalhos de campo.
O objetivo do Painel de referência realizado na fase de planejamento é verificar se o problema de
auditoria e as questões foram declarados adequadamente. Além disso, solicita-se que os especialistas
teçam considerações sobre as fontes de informações e sobre as estratégias propostas para a coleta e
análise de dados. Procura-se envolver nessa discussão com a equipe de auditoria, especialistas da área,
integrantes do gabinete do Ministro-relator no TCU, representantes do controle interno e representantes
de Organizações Não-Governamentais, se for o caso.
É, também, na etapa de planejamento que os papéis de trabalho são elaborados e testados e as
amostras de localidades que serão pesquisadas via postal, e/ou visitadas, se for o caso, são definidas.
A fase de execução da auditoria é utilizada para a coleta de dados, normalmente, in loco. O
trabalho de coleta de informações nas localidades é realizado mediante entrevista, com os gestores e
com os beneficiários do programa. Considerando as dimensões do território brasileiro e as diversidades
regionais, as informações coletadas dessa forma são submetidas a uma validação a partir de
informações obtidas por meio de pesquisa postal.
5
VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003
As estratégias metodológicas já utilizadas em trabalhos de auditoria realizados pelo TCU foram
o estudo de caso, a pesquisa, o delineamento quase-experimental e o delineamento não experimental.
Há uma tentativa de introduzir outras técnicas qualitativas nos trabalhos de auditoria de
natureza operacional. Com esse intuito, foi utilizada a técnica de grupo focal4 no trabalho realizado na
ação Profissionalização da Pessoa Presa, em 2002. A experiência revelou-se proveitosa, muito embora
os procedimentos para a transcrição das fitas gravadas e a análise de conteúdo necessitem ser
aperfeiçoadas, em função do tempo disponível para a realização da auditoria.
A elaboração do relatório abrange a análise dos dados coletados, a discussão e registro dos
achados de auditoria e a proposta de recomendações. Os achados de auditoria são registrados em uma
matriz que especifica, por questão de auditoria, os seguintes itens: achados principais, análises e
evidências, causas, efeitos, boas práticas e recomendações e benefícios esperados.
Após o preenchimento da Matriz de Achados e com o objetivo de que as recomendações
propostas para a melhoria do programa sejam pertinentes e relevantes, a equipe organiza o segundo
painel de referência, ocasião em que os participantes são convidados a discutir com a equipe aspectos
relevantes relacionados às conclusões apresentadas, bem como às propostas de encaminhamento das
questões identificadas.
O TCU adota a incorporação dos comentários do gestor ao relatório final de auditoria. Tal
procedimento é realizado em 3 semanas, não computado o prazo para a elaboração do relatório de
auditoria, sendo duas para a manifestação do gestor e uma para a incorporação dos comentários ao
relatório da equipe que é submetido ao Plenário da Corte de Contas.
A apreciação dos relatórios de auditoria de natureza operacional pelo TCU dá-se num prazo de
até cinco meses. O tempo total decorrido entre o planejamento e a apreciação é de, aproximadamente,
nove meses.
O produto final das auditorias de natureza operacional e, em especial as avaliações de programa,
são recomendações que visam à melhoria dos programas, diferentemente dos trabalhos que objetivam
averiguar aspectos legais, pelo qual o TCU é reconhecido pelos gestores, pela sociedade civil e pelo
Congresso Nacional. Tal constatação, associada ao fato de que há interesse, em nome da transparência
das ações governamentais, em que os relatórios de auditoria alcancem o maior número de pessoas e
entidades possível, evidenciou a necessidade de uma sistemática de divulgação dos trabalhos
realizados. Atualmente, a Assessoria de Imprensa do TCU disponibiliza notas de divulgação de todas
auditorias de natureza operacional, logo que apreciadas. Além disso, foram preparadas publicações,
denominadas Sumários Executivos, contendo informações resumidas dos trabalhos realizados, as quais
são distribuídas para órgãos públicos, organismos internacionais, bibliotecas, parlamentares,
organizações não-governamentais e outras entidades relacionadas com os programas/ações auditados.
A última etapa do ciclo das auditorias de natureza operacional é o monitoramento. Essa
atividade consiste no acompanhamento da implementação das recomendações constantes do relatório
de auditoria e objetiva maximizar a probabilidade de adoção das recomendações exaradas pelo TCU,
de modo a garantir uma melhoria no desempenho do programa.
As equipes de auditoria, ao final dos relatórios, recomendam que os gestores dos programas
auditados apresentem ao TCU, sessenta dias após a apreciação, plano de trabalho com informações
relativas às atividades, os prazos e os responsáveis pela implementação das recomendações exaradas
pelo Tribunal. Solicita-se, ainda, que seja indicado um grupo de contato, preferencialmente com a
participação de um representante do controle interno, para ser responsável pela prestação das
informações necessárias ao monitoramento.
O monitoramento é realizado, normalmente, em três diferentes ocasiões: seis, doze e vinte e
quatro meses após a apreciação do relatório de auditoria. A periodicidade do monitoramento pode ser
4
Grupo focal: técnica de pesquisa qualitativa que tem como fonte de coleta de dados discussões ocorridas entre
participantes de um determinado grupo sobre tema de interesse.
6
VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003
alterada em decorrência do grau de implementação das recomendações detectado em trabalhos
anteriores ou da disponibilidade de servidores. O último relatório de monitoramento é denominado
Relatório de Impacto pelo fato de registrar os benefícios quantitativos e qualitativos advindos da
atuação do TCU sobre o programa. A grande dificuldade dos relatórios de impacto tem sido mensurar
as mudanças ocorridas nos programas, advindas unicamente, da intervenção do TCU.
A atividade de monitoramento foi adotada sistematicamente no processo de trabalho das
auditorias de natureza operacional, a partir de 1998. Atualmente, o monitoramento é reconhecido pelo
TCU como instrumento de fiscalização e a sua utilização constitui uma das metas de qualidade
impostas às unidades técnicas do TCU para 2003. Esse não é o único exemplo de incorporação de
processo de trabalhos adotados pelas Anop na rotina do TCU, dado que a matriz de planejamento e a
seleção de temas de auditoria com base em critérios estabelecidos já são práticas utilizadas em outras
atividades de fiscalização.
IV.
Considerações sobre as auditorias de natureza operacional realizadas pelo TCU
Como mencionado anteriormente, o TCU vem realizando auditorias de natureza operacional
desde a década de oitenta, porém, a sistematização dos procedimentos, das metodologias e das técnicas,
ocorreu a partir de 1998, em decorrência do Acordo de Cooperação Técnica firmado com o Reino
Unido.
Naquele ano foram realizadas duas auditorias na área da saúde, duas na área de educação e
outras duas na área de meio ambiente. As auditorias foram consideradas projetos-piloto, pois, além da
fiscalização, visava ao treinamento dos servidores em técnicas de auditoria de natureza operacional. O
foco desses trabalhos foi no processo de trabalho dos órgãos auditados.
Na área da saúde, foram auditados a Ação para Planejamento e Aquisição de tuberculostáticos e
o repasse de recursos para o Programa de Erradicação do Aedes Aegyti, trabalhos cujos relatórios de
impacto foram finalizados em 2002.
A Entidade de Fiscalização Superior do Canadá utiliza o percentual de recomendações
implementadas ou em implementação como indicador da efetividade de sua atuação. O Canadá calcula
o percentual cinco anos após proferir as recomendações. Para o exercício findo em março de 2001, esse
indicador foi de 65% 5. A exemplo do Canadá, esse é um dos critérios adotados para verificar a
pertinência das recomendações realizadas.
O percentual de recomendações implementadas ou em implementação, daquelas exaradas pelo
TCU na auditoria da ação de Planejamento e aquisição de tuberculostáticos, foi de 80 %. Houve
modificação nos processos de trabalho, diminuição de ocorrência de erros e aumento da eficácia do
setor responsável pelo planejamento.
O trabalho realizado no Programa de Erradicação do Aedes Aegipty objetivou analisar o
processo de repasse de recursos, mediante convênio, para os municípios. Decorridos três anos da
apreciação da auditoria, verificou-se que 50% das recomendações haviam sido implementadas ou
estavam em implementação e que mudanças qualitativas e na regulamentação do programa haviam sido
incorporadas ao programa.
Os processos de prestação de contas e de transferência de recursos do Fundo Nacional de
Educação-FNDE foram objeto das auditorias da área de educação, em 1998. O relatório de impacto
realizado no FNDE registrou que, para a auditoria realizada no processo de prestação de contas, foram
implementadas ou estavam em implementação, em 2002, 68% das recomendações e que a atuação do
TCU foi responsável pela alteração do normativo legal que disciplinava a prestação de contas de
convênios. Além disso, 76,5 % das recomendações exaradas pelo TCU haviam sido aproveitadas pelo
5
OFFICE OF THE AUDITOR GENERAL OF CANADA. Performance Report, 2001.
7
VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003
setor de transferência de recursos, a qual, em função da atuação do TCU, havia reduzido despesas da
ordem de R$ 4,4 milhões, no período de 1999 a 2001.
O TCU auditou as atividades de fiscalização e arrecadação do Instituto Brasileiro de Meio
Ambiente-IBAMA, em 1998. Em decorrência desses trabalhos, foi constatado, em 2002, que 85,7% e
63,5 % das recomendações, respectivamente, estavam sendo implementadas ou em implementação. As
auditorias, conforme registrado nos relatórios de impacto, possibilitaram melhorias nos processos de
trabalho do IBAMA.
No primeiro ano do Projeto, foram utilizadas as técnicas de mapeamento de produto,
mapeamento de processo e análise RECI.
As auditorias realizadas em 1999 incorporaram análises mais sofisticadas dos programas de
governo. A preocupação com o impacto passou a permear as discussões. Nesse ano foram auditados o
Programa Nacional de Imunização, o Projeto de Reforço à Reorganização do SUS – Reforsus, o
Programa de Gerenciamento de Rejeitos Radioativos, o Sistema Nacional de Prevenção e Combate aos
Incêndios Florestais-Prevfogo, o Programa Nacional do Livro Didático - PNLD e o Programa Nacional
de Alimentação do Escolar - PNAE. Com exceção do relatório da auditoria realizada no Programa de
Gerenciamento de Rejeitos Radioativos, foram realizados relatórios de impacto dos demais trabalhos
de auditoria, os quais serão comentados nos parágrafos seguintes.
O relatório de impacto registrou que 50% das recomendações exaradas na auditoria realizada no
Reforsus foram implementadas ou estavam em implementação, no ano de 2002. Não obstante esse
quadro, pode-se afirmar que a implementação das recomendações do Tribunal gerou ganho quantitativo
de aproximadamente R$ 3,4 milhões, apenas no período de 1/1/2001 a 22/11/2002. Considerando que o
valor economizado pelo Reforsus em decorrência das recomendações do Tribunal foi de R$ 3,4
milhões e tendo em vista que o custo estimado da auditoria foi de R$ 40.000,00, concluiu-se que o
benefício da auditoria foi oitenta e cinco vezes superior ao seu custo, ou seja, foram economizados R$
85,00 do Programa para cada real investido na auditoria.
O relatório de impacto da atuação do TCU sobre o Programa Nacional de Imunização registrou
que 41.59% das recomendações foram implementadas ou estavam em fase de implementação em 2002.
Mencionou-se a economia de recursos ocasionada pelo aprimoramento do controle de qualidade e a
queda no índice de perda de vacinas, mas não houve declaração de que tal situação tenha ocorrido
exclusivamente em função do trabalho do TCU.
O principal impacto da auditoria realizada no Sistema Nacional de Prevenção e Combate aos
Incêndios Florestais – Prevfogo foi a criação dos Comitês Estaduais de Prevenção e Combate aos
Incêndios Florestais, em cumprimento à recomendação de ampliação de capilaridade do Prevfogo junto
às comunidades rurais. Na opinião do Coordenador do Programa, a efetiva implementação desses
Comitês será um importante avanço do Programa, pois poderão atuar de forma organizada e articulada,
nas ações de prevenção aos incêndios florestais. Entende o Coordenador que a cada R$ 1,00 gasto na
prevenção, há uma economia de R$ 5,00 gastos em ações de combate.
Decorridos três anos da apreciação da auditoria realizada no Prevfogo, verificamos que 45,5%
das recomendações foram implementadas, 18,2% estão em implementação, 22,7% não foram
implementadas e 13,6%, tornaram-se inaplicáveis. O gestor demonstrou que há interesse de adotar
providências com vistas a implementar as recomendações ainda pendentes. A equipe técnica do
Prevfogo considerou que, de maneira geral, as recomendações contribuíram para a melhoria do
Programa, embora nem todas tenham sido implementadas.
Os relatórios de impacto das auditorias realizadas no Programa Nacional de Alimentação do
Escolar-PNAE e no Programa Nacional do Livro Didático-PNLD foram realizados somente em 2003.
No caso do PNAE, o principal impacto apontado foi a melhoria do controle social, causada pelo
fortalecimento dos Conselhos de Alimentação Escolar, por intermédio da capacitação de seus
conselheiros. A atuação mais efetiva dos conselhos melhora a fiscalização com relação à qualidade da
merenda, além de contribuir para a redução do desvio de recursos. Portanto, o impacto qualitativo,
8
VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003
indiretamente, implica economia financeira, embora não tenha sido possível quantificá-la, no âmbito da
auditoria e dos monitoramentos realizados.
Na época da realização da auditoria, o valor para o fornecimento da refeição era de R$ 0,13 per
capita para alunos matriculados no ensino fundamental das escolas públicas e de R$ 0,06 para os
alunos da pré-escola e de entidades filantrópicas. A equipe de auditoria constatou que não havia critério
técnico que justificasse o valor diferenciado. Em cumprimento à recomendação do TCU, foi incluída,
no Comunicado de Repasse, informação referente ao número de dias de merenda correspondente ao
valor transferido, a qual facilitou o trabalho dos municípios.
Decorridos três anos da realização da auditoria, 66,7% das recomendações do TCU foram
implementadas, 25% estão parcialmente implementadas e as restantes são, atualmente, inaplicáveis.
O principal impacto sobre o PNLD foi a redução dos custos dos Guias do Livro Didático, o que
proporcionou economia de cerca de R$ 900.000,00 para o Guia de 1ª a 4ª séries (PNLD/2004) e R$
140.000,00 para o Guia de 5ª a 8ª séries (PNLD/2002). Outro impacto financeiro decorreu do fato de a
escolha da 1ª série tornar-se válida por três anos, eliminando a necessidade do envio do Guia todos os
anos. Tal medida resultou em uma economia de aproximadamente R$ 200.000,00, a cada ano que o
Guia não é enviado.
O custo direto da auditoria foi de R$ 40.000,00 e o dos monitoramentos foi de R$ 17.000,00,
totalizando R$ 57.000,00. Considerando que o valor total economizado pelo PNLD em três anos, em
decorrência das recomendações do Tribunal, foi de cerca de R$ 1.440.000,00, a relação custo
/benefício é de aproximadamente R$ 25,26 poupados pelo Programa para cada real investido na
auditoria. O impacto quantitativo decorrente da implementação das recomendações propostas pelo
TCU foi discutido com o gestor, que manifestou sua concordância com os valores apresentados.
O Gerente do Programa considerou que as recomendações muito contribuíram para a melhoria
do PNLD. A realização de auditoria de natureza operacional fortalece o Programa, vez que as
recomendações proferidas pelo Tribunal, muitas vezes, viabilizam a execução de atividades que o
gerente considera importantes para o bom desempenho do Programa. Decorridos três anos da
apreciação da auditoria, verificou-se que 66,7% das recomendações do TCU foram implementadas e as
restantes foram parcialmente implementadas.
As análises SWOT e Stakeholder e o Marco lógico foram as técnicas utilizadas nos trabalhos de
1999.
Em 2000, foram introduzidas no escopo dos trabalhos de auditoria abordagens relativas à
diminuição da pobreza e da desigualdade social. Assim, as equipes de auditoria foram orientadas a
incorporar à matriz de planejamento uma questão de auditoria que abordasse esses assuntos.
Naquele ano, foram fiscalizados as ações de Prevenção à Mortalidade Materna e Incentivo ao
Combate às Carências Nutricionais e os programas o TV Escola, Nacional de Informática na EducaçãoProinfo, Desenvolvimento Sustentável dos Recursos Hídricos para o Semi-árido Brasileiro-Próágua/Semi-árido e Implantação de Dessalinizadores no Semi-árido Nordestino.
A utilização de especialistas para apoiar as equipes de auditoria foi registrada, pela primeira
vez, nos trabalhos realizados em 2000.
Os temas das auditorias realizadas em 2001 passaram a abranger, também, as áreas da
assistência social e da agricultura, além das que já eram anteriormente selecionadas. Foram fiscalizados
nesse ano os Programas de Erradicação do Trabalho Infantil, a ação Valorização e Saúde do Idoso, o
Programa Nacional Biblioteca da Escola, o Programa de Saúde do Escolar, o Programa de Saúde da
Família, o Programa Nacional de Irrigação e Drenagem e o Programa Novo Emprego e Seguro
Desemprego.
Os trabalhos realizados em 2002 apresentaram uma série de inovações. Primeiramente, foi
realizada auditoria no Cadastro Único de Programas Sociais do Governo Federal, que não consiste em
programa, mas em uma base de dados que congrega informações de beneficiários de diversos
programas sociais. Foi testada a técnica qualitativa de grupo focal para a coleta de informações para a
9
VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003
auditoria realizada na ação Profissionalização do Preso. A utilização de especialistas, principalmente
para suprir necessidades na área de estatística, foi prática adotada por quase todas as equipes de
auditoria. A estratégia metodológica de delineamento quase experimental, a técnica mistery shopping6 e
a entrevista via telefone foram testadas nas auditorias. Os trabalhos executados foram os seguintes:
Programa Nacional de Saneamento Básico, Programa Energia das Pequenas Comunidades, Ação
Alfabetização Solidária, Ação Profissionalização do Preso e Cadastro Único dos Programas Sociais do
Governo Federal.
Em 2003, o TCU está auditando os programas Brasil Jovem, Desenvolvimento do Turismo no
Nordeste, Morar Melhor, Novo Mundo Rural, Prevenção e Controle da Malária, Atenção à Pessoa
Portadora de Deficiência, Reinserção Social do Adolescente em Conflito com a Lei e a ação Apoio a
Comunidades Extrativistas da Amazônia – Amazônia Sustentável.
O impacto das auditorias de natureza operacional sobre a execução dos programas auditados
denotam que a escolha institucional de preparar-se para proceder à avaliação da gestão pública foi
tempestiva e relevante, mas não se acha finalizada.
Os processos de divulgação do resultado das avaliações realizadas pelo TCU para a sociedade
civil organizada e para o Congresso Nacional, de integração do resultado dessas avaliações ao ciclo
orçamentário e de monitoramento das auditorias, devem ser aprimorados para conferir maior
efetividade à atuação do controle.
Internamente, evidencia-se a necessidade de disseminação, para o corpo técnico do Tribunal, do
conhecimento adquirido nos trabalhos de auditoria, bem como na utilização de novos processos de
trabalho, conferindo às iniciativas maior utilidade para o exercício do controle externo.
O controle desempenha importante papel nas relações estado X sociedade, contribuindo para a
garantia do estado democrático, dado que, em última instância, evita a prevalência da vontade do
executor sobre o interesse público. Inicialmente garantida pelo exame da legalidade, essa condição, nos
moldes da organização atual e dada restrição orçamentária comum a todos os estados modernos, não
pode ignorar a avaliação dos resultados obtidos mediante o uso dos recursos.
Um dos muitos desafios do controle é o de acompanhar as inovações propostas para a reforma
do Estado, no sentido de elevar os níveis de transparência, torná-lo mais permeável à participação e ao
controle dos cidadãos e mais eficaz e ágil no atendimento das demandas da sociedade. Deve-se operar
no sentido de que a sociedade conheça e reconheça a qualidade do trabalho das instituições de controle.
Tal condição somente será implementada caso esse se mostre útil, seja tempestivo e promova as
mudanças necessárias para a que as ações governamentais sejam efetivas.
Para o Tribunal de Contas da União, torna-se imperioso promover a transparência das ações
estatais e ser reconhecido como agente de transformação, que prima pela efetividade da ação
governamental e melhoria da administração pública, já que a democracia, além de ser um conjunto de
regras e procedimentos, deve ser vista como um processo para melhorar a vida das pessoas.
Bibliografia
AMORIM, Carlos Alexandre. Especialização e autonomia funcional no âmbito do Tribunal de
Contas da União.Revista de Informação Legislativa, Senado Federal, Brasília, janeiro a março, 2003.
BARZELAY, Michael. Instituições Centrais de Auditoria e Auditoria de Desempenho: Uma
análise comparativa das estratégias organizacionais na OCDE. in O Controle Externo e a Nova
Administração Pública: uma visão comparativa. Brasília: TCU, 2002.
BASTOS, Glória Maria M. C. A Experiência do Tribunal de Contas da União em Auditoria de
Natureza operacional e Avaliação de Programas Governamentais. Revista do Tribunal de Contas da
União, n 92, abril/junho, 2002.
6
Mistery shopping: técnica empregada para avaliar a qualidade do serviço público, por um avaliador independente que se
faz passar por um usuário do serviço.
10
VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003
BRASIL. Tribunal de Contas da União. Manual de Auditoria de Natureza Operacional. Brasília:
TCU, 2000.
BRASIL, Tribunal de Contas da União. O Tribunal de Contas da União Frente às Tendências do
Controle da Gestão Pública: Uma Proposta de Mudança Institucional – Área Temática 1: Paradigma
de Controle Externo. Brasília: TCU, 1999.
GHIRLANDA, Marta P. M. O Processo institucional de avaliação do Governo Federal
Brasileiro. Brasília, 2001.
GOMES, Marcelo Barros. Performance Audit Argument: a Public Management Policy Analysis
about Supreme Audit institutions Role. Revista Del Clad nº 7, 2001
MOORE, Mark H. Creating Public Value Cambridge: Harvard University Press, 1995.
POLLITT, Christopher et al. Performance or Compliance? Performance Audit a Public
Management in Five Countries. Oxford: Oxford University Press: Addison Wesley, 1999.
RIBEIRO, Renato Jorge Brown. Controle Externo da Administração Pública Federal no Brasil.
Rio de Janeiro. América Jurídica, 2002.
Resenha Biográfica
Maridel Piloto de Noronha é servidora do Tribunal de Contas da União7 da República Federativa
do Brasil, onde exerce o cargo de assessora da Secretaria de Fiscalização e Avaliação de Programas de
Governo. Participou de trabalhos de auditoria de natureza operacional como integrante de equipe, como
coordenadora e como consultora sobre técnicas e metodologias de avaliação de programas. É graduada
em Ciências Econômicas pela Universidade de Brasília – UnB, com MBA em Controle Externo pela
Fundação Getúlio Vargas. Atualmente, é aluna do Curso de Especialização em Controle Externo –
Área de Análise e Avaliação da Gestão Pública, ministrado pelo Instituto Serzedello Corrêa do
Tribunal de Contas da União.
7
Cargo atual: Analista de Finanças e Controle Externo.
Funções atuais: Assessora da Secretária de Fiscalização e Avaliação de Programas de Governo;
Instrutora dos cursos de Auditoria de Natureza Operacional ministrado pelo Instituto Serzedello Corrêa.
Nombre da instituicion: Tribunal de Contas da União-TCU/Brasil
Nome de la dependencia: Secretaria de Fiscalização e Avaliação de Programas de Governo – Seprog
Direcion Postal:
Setor de Administração Federal Sul
Quadra 4 – lote 1 – Anexo I sala 459CEP 70.042-900 – Brasília- DF-Brasil
Teléfonos: 61-3167895/316-7652 ( TCU)Fax: 61- 3167896
E-mail: [email protected]
Brasília - DF
11