Gestão Estratégica
Orientada para Resultados
Orientações para a
Execução de
Mensurações em
Projetos
Serviço Brasileiro de Apoio às Micro e Pequenas Empresas – Sebrae
Conselho Deliberativo Nacional
Adelmir Santana
Presidente
Diretoria Executiva
Paulo Tarciso Okamotto
Diretor-Presidente
Luiz Carlos Barboza
Diretor Técnico
Carlos Alberto dos Santos
Diretor de Administração e Finanças
Unidade de Gestão Estratégica
Pio Cortizo Vidal Filho
Gerente
Elaboração
Emanuel Malta Falcão Caloête
Equipe Técnica
Francisco José da N. Cesarino
(Coordenador da Rede de Apoio)
Emanuel Malta Falcão Caloête
Mário Lúcio De Ávila
Murilo de Aquino Terra
Renata Malheiros Henriques
Serviço Brasileiro de Apoio às Micro e Pequenas Empresas
SEPN Quadra 515 – Bloco C – Loja 32
70770-900 – Brasília – DF
+ 55 (61) 3348 7100
Central de Relacionamento Sebrae – 0800 570 0800
www.sebrae.com.br
Janeiro/2009 – Versão 1
2
1. Introdução
Este manual destina-se a apresentar os principais aspectos relacionados com a
execução das mensurações de resultados nos projetos gerenciados por meio da
Gestão Estratégica Orientada para Resultados - Geor.
O seu objetivo é identificar todas as etapas, fases e responsáveis ao longo do
processo de apuração dos dados que permitirão o cálculo dos indicadores de
resultados pactuados nos projetos gerenciados por meio da metodologia da Geor.
Antes de iniciar, é necessário que se faça uma distinção importante entre
mensuração de resultados e avaliação de projetos. Mensurar resultados relaciona-se
com as fases de planejar, coletar, analisar e divulgar um conjunto de indicadores
previamente
pactuados
junto
ao
público-alvo
e
parceiros,
para
fins
de
acompanhamento sistemático e aperfeiçoamento dos projetos.
Avaliar projeto consiste da compreensão, análise e utilização periódica e
sistemática das informações disponibilizadas na etapa de mensuração de resultados,
tais como: as informações do monitoramento; a análise da evolução das premissas e
das ações; o envolvimento das partes interessadas e o contexto externo ao projeto,
entre outras variáveis.
A responsabilidade direta pela execução e divulgação dos resultados obtidos nas
mensurações é das equipes estaduais de pesquisa, enquanto que a responsabilidade
direta pela avaliações dos projetos é dos seus respectivos gestores.
Portanto, mensurar resultados ou conhecer a evolução dos indicadores
necessários para o acompanhamento da execução dos projetos é etapa que antecede
a realização das avaliações e que nela está contida. É erro comum e freqüente achar
que as duas são processos semelhantes.
2. Tipos de mensurações e periodicidade de execução
Existem basicamente três momentos para a realização das mensurações de
resultados:
3
a)
Mensurações iniciais, denominadas T0, realizadas e publicadas no Sigeor
imediatamente após a pactuação das metas dos resultados a serem
alcançados. A mensuração inicial deverá ser publicada no Sigeor até 30 dias
contados a partir da data da pactuação do projeto;
b)
Mensurações intermediárias, denominadas T1, T2, T3,...Tn, realizadas
durante a execução do projeto, com a finalidade acompanhar a evolução
dos indicadores dos resultados, além de possíveis desvios;
c)
Mensurações finais, denominadas Tf, realizadas ao término do projeto, cuja
principal finalidade é diagnosticar se os resultados pactuados no seu início
foram efetivamente alcançados.
O levantamento dos indicadores a serem acompanhados pela linha gerencial pode
ser realizado a partir de dados existentes sobre as empresas que participam das
ações do projeto e/ou por meio de pesquisa de campo, realizadas pelos Sebrae/UF,
entidade parceira especializada ou instituto contratado para esta finalidade, sempre
sob supervisão e responsabilidade das equipes estaduais de pesquisas, encarregadas
de acompanharem este trabalho nas UF.
Independentemente da intensidade de gestão dos projetos, é obrigatório que
sejam realizadas:
a) Ao menos uma mensuração anual, contada a partir da data de pactuação do
projeto, publicada no Sigeor. Por exemplo: suponha que um determinado
projeto tenha sido pactuado em 30/3/2009. Em 30/5/2011, este projeto deverá
ter, no mínimo, três mensurações publicadas no Sigeor: a T0, realizada até 30
dias após a pactuação do projeto; a T1, publicada até o dia 30/4/2010 e a T2,
publicada até o dia 30/4/2011;
b) Ao menos uma avaliação semestral, que serão computadas a cada seis
meses, contadas a partir da data de pactuação do projeto. Considerando o
exemplo anterior, no dia 30/5/2011 o projeto deveria possuir 4 avaliações: a
primeira realizada até 30/9/2009; a segunda realizada até 30/3/2010; a terceira
realizada até 30/9/2010 e a quarta realizada até 30/3/2011.
O monitoramento da execução das mensurações realizado pelo Sebrae Nacional
considerará exclusivamente as informações lançadas no Sigeor pelos gestores e
equipes de pesquisas. Não serão considerados documentos ou planilhas paralelos.
4
3. Execução das mensurações
Toda e qualquer mensuração a ser realizada nos projetos deverá ser feita em
comum acordo entre o gestor e as equipes estaduais de pesquisas.
Os levantamentos dos indicadores de interesse do projeto podem ser realizados a
partir de diagnósticos ou pesquisas disponíveis. Deve-se garantir que todas as
empresas que participam das ações que repercutirão nos indicadores pactuados
estejam contempladas no trabalho e que esse esteja atualizado.
Neste caso, os dados deverão ser repassados à equipe estadual de pesquisas,
preferencialmente em meio eletrônico, que elaborará os relatórios de cada uma das
mensurações de acordo com as especificações necessárias, de modo que seja
possível acompanhar a evolução dos indicadores pactuados permanentemente.
Caso a opção seja a realização de pesquisas e levantamentos primários,
realizados diretamente junto aos produtores e empresários, deve-se levar em
consideração os aspectos tratados na próxima seção.
4. Fases envolvidas na execução das mensurações
Existem basicamente quatro fases da mensuração de resultados, por meio da
execução de pesquisas, as quais devem ser atentamente observadas pelos gestores e
equipes estaduais de pesquisas.
4.1.
Planejamento
A qualidade do trabalho final de pesquisa com vistas à mensuração de resultados
nos projetos da Geor depende fundamentalmente das etapas previstas nesta fase, que
tem como premissa o processo sistemático de articulação entre o gestor e as equipes
estaduais de pesquisas.
Em primeiro lugar, é necessário que o gestor informe à equipe estadual de
pesquisas quais são as ações que têm impacto nos resultados pactuados. Feito isso, a
equipe local de pesquisas selecionará as amostras a serem pesquisadas, a partir dos
registros do Sigeor.
5
Toda e qualquer segmentação existente no público-alvo deverá ser identificada
pelo gestor e equipe estadual de pesquisas antes da realização da pesquisa.
De nada adiantará o gestor fornecer para a equipe de pesquisas as ações que não
contribuam para o alcance dos resultados pactuados, pois a mensuração não refletirá
o trabalho empreendido.
As equipes estaduais de pesquisa deverão realizar análise da consistência das
informações do cadastro disponibilizado pelo gestor, identificando os eventuais
problemas e validando com eles as devidas correções antes do início das
mensurações.
Para que as mensurações sejam realizadas com maior eficácia deve-se atentar
para as seguintes premissas:
a)
Que a descrição dos indicadores seja clara;
b)
Que os métodos de cálculo dos resultados sejam corretamente definidos;
c)
Que os resultados sejam mensuráveis;
É importante que as equipes de pesquisas levem em conta a economicidade na
utilização dos recursos financeiros e pesquisem estritamente o número suficiente de
empresas que garanta a representatividade necessária para inferências sobre o
universo informado pelo gestor do projeto.
Para isso, recomenda-se que sejam utilizados os parâmetros normalmente
utilizados pelo Sistema Sebrae em trabalhos desta natureza: amostragens aleatórias,
com nível de significância igual a 95% e margem de erro igual a 5%. Especificações
diferentes desta deverão ser detalhadas pela equipe estadual de pesquisas no
relatório final.
Caso existam segmentações no âmbito do universo apresentado pelo gestor,
sugere-se que a equipe estadual de pesquisas selecione o método de amostragem
mais adequado, que reflita a realidade existente.
Normalmente as equipes tendem a realizar censos e elaborar questionários
extensos, em substituição a diagnósticos que deveriam ter sido realizados em etapas
anteriores.
6
Após o cumprimento das etapas anteriores, deve-se atentar para o método de
acompanhamento das empresas que participarão das mensurações ao longo da
execução do projeto. Existem basicamente duas formas de fazê-lo.
A primeira é o acompanhamento sistemático das mesmas empresas ao longo da
execução do projeto: as empresas selecionadas para a realização da mensuração
inicial serão as mesmas que participarão das mensurações posteriores.
Este método de acompanhamento, denominado painel, só poderá ser utilizado se
não houver entradas nem saídas de empresas no universo informado pelo gestor e por
definição é indicado quando houver uma relação continuada entre o Sebrae e as
empresas.
Sabe-se que é bastante improvável não ocorrerem alterações no conjunto de
empresas nas quais se verificarão as transformações, dificuldade que aumenta quanto
maior for o horizonte de execução das ações do projeto. Desta forma, este
procedimento de acompanhamento está restrito a projetos de curta duração e nos
quais não seja possível variação no universo a ser pesquisado.
O procedimento alternativo, que prevê entradas e saídas de empresas, é o
acompanhamento do desempenho dos diferentes universos fornecidos pelo gestor em
cada uma das mensurações, denominado amostragens probabilísticas. Neste caso,
em cada uma das mensurações será realizado novo sorteio aleatório, sendo
comparados os resultados do universo em cada momento do projeto.
Estabelecido o método de acompanhamento, define-se como os indicadores serão
apurados: se os próprios empresários preencherão as informações desejadas, por
meio da aplicação das Fichas de Acompanhamento ou se haverá necessidade de
interveniência
de
profissional
que
fará
as
perguntas
aos
empresários
ou
representantes indicados pelas empresas, por meio da aplicação de questionários.
Em qualquer um dos casos, dever-se-á atentar para a sensibilização dos
empresários e empreendedores antes da realização da apuração dos indicadores de
resultados. Este trabalho é de responsabilidade exclusiva do gestor do projeto.
7
4.2.
Apuração dos dados
No caso dos empresários preencherem as Fichas de acompanhamento, essas
devem ser objetivas, focadas no projeto e devem possuir instruções de
preenchimento, elaborado pela equipe de pesquisas e validado com o gestor do
projeto.
As fichas serão distribuídas para os empresários e empreendedores pelos
gestores dos projetos, que deverão informar a data em que as mesmas serão
recolhidas.
De posse das fichas preenchidas, o gestor ou o profissional indicado pela linha
gerencial, as enviará para a equipe de pesquisas, para processamento dos dados e
elaboração dos relatórios.
No caso das equipes optarem pela aplicação dos questionários, por meio de
profissional especializado, deve-se igualmente atentar para a objetividade dos prazos,
bem como para o cronograma de entregas da empresa eventualmente contratada.
Em nenhuma hipótese o gestor do projeto ou qualquer integrante da linha
gerencial deverá preencher os questionários ou auxiliar individualmente os
empresários no preenchimento das fichas de acompanhamento.
Não existem blocos padrão ou a obrigatoriedade de perguntas padrão, a menos
que esta seja uma decisão da UF ou, em casos excepcionais, quando os projetos
integrarem programas e nestes estejam previstos resultados padronizados para fins de
acompanhamento.
Definidas as perguntas que comporão as fichas e questionários, deve-se,
preventivamente, aplicá-los num pequeno grupo de empreendedores e empresários a
serem pesquisados, com vistas a serem identificadas questões com dificuldades de
interpretação e outras que ensejem medidas corretivas.
Realizada esta etapa, devem ser realizadas as devidas correções e elaborados os
instrumentos finais, os quais serão aplicados em conformidade com o cronograma
validado entre gestor e equipe estadual de pesquisas.
8
Além disso, é importante definir se este trabalho será realizado pelo Sebrae,
procedimento denominado pesquisa de segunda parte ou se será realizado por
empresa especializada, contratada para esta finalidade - pesquisa por terceira parte.
As mesmas observações quanto a prazos, cronograma de entregas e
sensibilização junto ao público-alvo, anteriormente citadas, permanecem válidas e
serão monitoradas.
É recomendável que os gestores solicitem aos empresários que preencham e
assinem Termo de Compromisso de Participação nas Mensurações, garantindo ao
Sistema Sebrae que as informações necessárias para a apuração dos indicadores
seja efetivamente realizada.
É necessário que, neste documento, as equipes de pesquisas se comprometam a
garantir a devida confidencialidade dos dados informados pelos empreendedores e
empresários.
Deve-se observar e mapear as dificuldades apresentadas pelo público-alvo, bem
como as rejeições e sugestões apresentadas, atuando imediatamente para a correção
de cada uma delas.
Questões de sensibilização devem ser sanadas pelos gestores dos projetos e
questões de ordem técnico-metodológicas deverão ser corrigidas e superadas pelas
equipes estaduais de pesquisas.
As equipes estaduais de pesquisas deverão observar atentamente se alguma
questão foi sistematicamente rejeitada pelos empreendedores e empresários. Caso
tenha sido identificada inconsistência desta natureza, dever-se-á retornar ao públicoalvo, para que empreendedores e empresários preencham as questões. Quem
estabelecerá o índice aceitável para a elaboração do relatório final é a equipe estadual
de pesquisas.
4.3.
Elaboração do Relatório final
As equipes estaduais de pesquisas deverão registrar ata e documentação
comprobatória de que foi realizada a etapa de apresentação do relatório final para a
9
linha gerencial e que a mesma foi cumprida, em conformidade com as especificações
técnicas deste Manual.
Está vedado qualquer tipo de imputação de dados, processo anteriormente
denominado de equalização, independentemente de quaisquer motivos. Caso as
empresas eventualmente se recusem a responder, encerrem as suas atividades ou
ocorrências do gênero, deve-se registrar o valor zero para essas empresas nas
tabulações, informando no relatório o número de cada uma dessas ocorrências, para
fins de avaliação do projeto.
Os gestores devem ser alertados pela equipe estadual de pesquisas que se um
número significativo de empresários se recusarem a responder às perguntas das
fichas ou dos questionários, será registrado o valor zero nas tabulações finais.
A equipe estadual de pesquisas deverá realizar cálculos que demonstrem
estatísticas complementares que permitam o entendimento do que de fato ocorreu
com o grupo que respondeu às perguntas, podendo realizar análises comparativas
entre as empresas que responderam e o comportamento do grupo, que inclui as
desistências e outras ocorrências.
Por exemplo, suponha que num determinado projeto foram pesquisadas 40
empresas ou empreendimentos. Suponha ainda que em determinado resultado foi
constado que somente 20 responderam. Sugere-se que a equipe de pesquisas
apresente as estatísticas do grupo – respondentes e não respondentes – e somente
daqueles que responderam, para apoiar a linha gerencial na avaliação do projeto.
Caso a equipe de pesquisas e linha gerencial atente para a quantidade de recusas
identificadas ao final da etapa de apuração dos dados e realize o procedimento de
retornar aos empreendedores e empresários que se negaram a responder, solicitandoos e sensibilizando-os para os eventuais problemas que ocorrerão, este efeito será
minimizado.
O importante é que o resultado oficial da mensuração, a ser utilizado na
reunião de avaliação e publicado no Sigeor reflita fielmente o que ocorreu na
amostra selecionada, cabendo à linha gerencial as medidas corretivas
necessárias para a melhoria do projeto.
10
Cumprida esta etapa, as equipes de pesquisas elaborarão o relatório final da
mensuração correspondente. Este relatório consiste de uma apresentação em power
point que deverá possuir, no mínimo, a seguinte estrutura:
a) Descrição do universo do público-alvo disponibilizado pelo gestor do projeto;
b) Descrição do método de amostragem utilizado;
c) Resultados apurados, identificando, para cada um deles, o número de
entrevistas previsto e efetivamente realizado;
d) Conclusões gerais sobre os resultados apurados;
e) Avaliação sobre a execução da pesquisa: sensibilização do público-alvo;
problemas na execução e sugestões.
O Anexo deste Manual contém check list completo do processo de mensuração de
resultados nos projetos da Geor.
4.4.
Divulgação dos resultados das mensurações
Após a apresentação do relatório final para a linha gerencial do projeto, a equipe
de pesquisas disponibilizará no Sigeor os resultados apurados, bem como o arquivo
do relatório final.
Após a apresentação do relatório final para a linha gerencial, sugere-se que as
equipes de pesquisas elaborem um documento sintético, denominado Carta
Empresarial, para cada uma das empresas pesquisadas, contendo a devolutiva dos
resultados apurados para a empresa e para o grupo pesquisado.
Os gestores e equipes estaduais de pesquisas definirão a responsabilização pela
entrega das cartas empresariais a cada uma das empresas pesquisadas. Isto poderá
ser feito no momento da reunião de avaliação, ou antes, com o auxílio das entidades
parceiras.
As equipes estaduais de pesquisas poderão auxiliar os gestores dos projetos na
reunião de avaliação, esclarecendo dúvidas do público-alvo e identificando
possibilidades de melhorias. A condução e coordenação do evento, contudo, é do
gestor.
11
4.1.
Disposições finais
Com relação às questões de método e técnica para a realização das mensurações
de resultados, é de exclusiva responsabilização das equipes estaduais de pesquisa a
seleção e utilização dos procedimentos adequados que garantam os melhores
resultados.
Os requerimentos que serão monitorados pelo Sebrae Nacional são os parâmetros
mínimos que garantam a representatividade dos trabalhos, especificados neste
documento.
Caso as equipes utilizem procedimento alternativo, deverão citar as Referências
Bibliográficas nos relatórios e documentos produzidos, bem como descrevê-los de
forma compreensível para o público-alvo e para o Sistema Sebrae.
Caso as equipes de pesquisas se defrontem com algum procedimento até aqui
não utilizado e tenham alguma dúvida a respeito de método e técnica de pesquisas,
sugere-se contatar a equipe do Sebrae Nacional para a identificação das alternativas
existentes.
As equipes de pesquisas das UF deverão obrigatoriamente realizar auditoria
operacional anual em pelo menos 5% do total de fichas e questionários aplicados no
período. Esta auditoria visa garantir que os empresários e empreendedores foram
efetivamente pesquisados. Caberá à equipe estadual de pesquisas local definir a
melhor forma de realização deste trabalho.
Não há modelo ou padronização para a elaboração do documento final da
auditoria. O importante é que a estadual equipe de pesquisas mantenha atualizados
os registros com os relatórios anuais de execução das auditorias, e que eles
apresentem os resultados encontrados, bem como as medidas de gestão implantadas.
Todos os projetos gerenciados por meio da Geor possuem ações padronizadas de
acompanhamento da execução das mensurações e de acompanhamento da execução
das avaliações. A qualidade do planejamento do trabalho de execução e
monitoramento das mensurações dependerá fundamentalmente do trabalho realizado
nesta fase pelas equipes estaduais de pesquisas e gestores dos projetos.
12
Todas as equipes estaduais de pesquisas deverão obrigatoriamente estruturar
uma atividade específica de acompanhamento da execução das mensurações de
resultados e das avaliações dos projetos gerenciados por meio da metodologia da
Geor.
13
ANEXO I: CHECK LIST PARA A REALIZAÇÃO DAS MENSURAÇÕES DE RESULTADOS NOS PROJETOS DA GEOR
Etapa
Fase
Estruturação e pactuação da atividade de acompanhamento da Planejamento
execução das mensurações e das avaliações na UF
A mensuração dos resultados será realizada a partir de
indicadores existentes em diagnósticos
Disponibilização dos arquivos do diagnóstico para a equipe
estadual de pesquisas
Elaboração do relatório
Divulgação dos resultados no SGE
Avaliações do projeto
A mensuração dos resultados será realizada a partir de pesquisa
junto aos empreendedores e empresários
Disponibilização e atualização do cadastro no Sigeor
Seleção das amostras
Elaboração do manual de preenchimento dos questionários e
fichas de acompanhamento
Sensibilização dos empreendedores e empresários sobre a
realização da pesquisa, enfatizando a importância, o calendário
e demais informações
Assinatura do termo de compromisso para a realização da
pesquisas pelos empreendedores e empresários
Aplicação do pré-teste das fichas de acompanhamento e
questionários junto aos empresários e produtores
Distribuição das fichas de acompanhamento para os
empreendedores e empresários
Correção das dificuldades apresentadas pelo público alvo, em
termos de sensibilização e arregimentação
Responsável
Equipe de pesquisas
Planejamento
Apuração dos dados
Gestor
Elaboração do relatório final
Divulgação dos resultados
Avaliação do projeto
Equipe de pesquisas
Equipe de pesquisas
Gestor
Planejamento
Planejamento
Planejamento
Gestor
Equipe de pesquisas
Equipe de pesquisas
Planejamento
Gestor
Apuração dos dados
Gestor
Apuração dos dados
Equipe de pesquisas
Apuração dos dados
Gestor
Apuração dos dados
Gestor
Data de Conclusão
Etapa
Correção das dificuldades apresentadas pelo público alvo, em
termos questionário, linguagem, etc.
Recolhimento das fichas de acompanhamento preenchidas pelos
empresários e produtores
Envio das fichas para as equipes de pesquisas
Envio dos questionários para as equipes de pesquisas
Identificação das questões que tenham sido sistematicamente
rejeitadas
Retorno ao público alvo para preenchimento das questões que
foram rejeitadas
Fase
Apuração dos dados
Responsável
Equipe de pesquisas
Apuração dos dados
Gestor
Apuração dos dados
Apuração dos dados
Apuração dos dados
Gestor
Equipe de pesquisas
Equipe de pesquisas
Data de Conclusão
Apuração dos dados
Gestor (no caso da
utilização de fichas)
Equipe de pesquisas
(no caso de empresa
contratada)
Elaboração do relatório final
Elaboração do relatório final Equipe de pesquisas
Apresentação do relatório final para a linha gerencial
Elaboração do relatório final Equipe de pesquisas
Lançamento dos resultados da mensuração no Sigeor
Divulgação dos resultados Equipe de pesquisas
das mensurações
Lançamento do relatório final da mensuração no Sigeor
Divulgação dos resultados Equipe de pesquisas
das mensurações
Elaboração das Cartas Empresariais
Divulgação dos resultados Equipe de pesquisas
das mensurações
Distribuição das cartas empresariais para os empreendedores e Divulgação dos resultados Gestor/Equipe
de
empresários
das mensurações
pesquisas
Realização de auditoria operacional anual em pelo menos 5% do Monitoramento Nacional
Equipe de pesquisas
total de mensurações realizadas no período
Manutenção dos registros com os resultados das auditorias Monitoramento Nacional
Equipe de pesquisas
operacionais anuais
15