Ferramenta de Avaliação de Rotina
da Qualidade de Dados
(ARQD)
MEASURE Evaluation
Evolução da ferramenta ARQD
 Ferramenta de Auditoria de Qualidade de Dados criada pelo
Projeto do Fundo Global, MEASURE Evaluation, outros parceiros
 Objetivo de avaliar a qualidade de dados para financiamentos
baseados em desempenho
 Utiliza a metodologia GAVI DQA(AQD) para avaliar a exatidão de
dados de cobertura de imunização
 Técnica de Amostragem por Conglomerados
 Estimativa de qualidade de dados a nível nacional
 Dois componentes: 1) Verificação de dados
2) Avaliação do sistema
 Programas/projetos expressaram a necessidade de uma
ferramenta para utilizar como auto-avaliação, capacitação e
preparação para auditorias externas
AVALIAÇÃO DA
QUALIDADE DE DADOS
FERRAMENTA DE
AUDITORIA DA
QUALIDADE DE DADOS
(AQD)
FERRAMENTA DE
AVALIAÇÃO DE ROTINA
DA QUALIDADE DE
DADOS (ARQD)
Utilização das versões de Auditoria e Auto-Avaliação/Rotina
Versão Auditoria…
Versão Auto-Avaliação...
 Avaliação pela agência
financiadora
 Simplificada, com base na versão
de auditoria
 Método padrão para
implementação
 Utilização flexível pelo programa,
equipa de IE (Informação
Estratégica) para monitorar e
supervisionar ou em preparação
para uma auditoria externa
 Realizada pela equipa de
auditoria externa
 Limitada participação do
Programa/Projeto nas
recomendações feitas
 Auto-avaliação, pelo programa, do
seu próprio sistema de M&A
 O programa elabora e implementa o
seu próprio plano de ação
 A equipa de IE pode monitorar a
qualidade dos dados entre os
parceiros num país
Objectivos da ARQD
OBJETIVOS:
•
VERIFICAR rapidamente 1) a qualidade dos dados divulgados em
referência aos indicadores chave nos centros selecionados; e 2) a
capacidade dos sistemas de gestão de dados para recolher, gerir e
divulgar dados de qualidade.
•
IMPLEMENTAR medidas através de planos de ação adequados para
reforçar o sistema de gestão e divulgação de dados e melhorar a
qualidade dos dados.
•
MONITORAR o melhoramento da capacidade e do desempenho do
sistema de gestão e divulgação de dados, para produzir dados de
qualidade.
Modelo Conceitual de ARQD
Dimensões da Qualidade (Anexo 1, Quadro 1)
Dados de Qualidade
Exatidão, Totalidade,
Exactidão,
Totalidade,Fiabilidade,
Fiabilidade,Pontualidade,
Pontualidade,
Confidencialidade, Precisão, Integridade
Unidade de M&A
Níveis Intermediários de Agregação
(Ex: Distritos, Regiões)
Pontos de Serviço
Gestão de Dados e
Sistema de Relatórios
NÍVEIS DE RELATÓRIOS
Componentes Funcionais Necessários de um Sistema de Gestão
de Dados para Assegurar a Qualidade dos Dados
(Anexo 1, Quadro 2)
I
Capacidades, Funções e Responsabilidades de M&A
II
Formação
III
Requisitos de Divulgação dos Dados
IV
Definições de Indicadores
V
Fomulários/Ferramentas para Recolha e Divulgação dos Dados
VI
Processos de Gestão de Dados
VII
Mecanismos e controlos da Qualidade dos Dados
VIII
Ligações com o sistema nacional de relatórios
Funções da ARQD
A ARQD foi concebida para ter flexibilidade em sua utilização e
pode desempenhar várias funções:
 Verificações de rotina da qualidade de dados como parte de
uma supervisão contínua de apoio
 Avaliações iniciais e de seguimento dos sistemas de gestão e
divulgação de dados – medição das melhorias de desempenho
no decorrer do tempo:
 Fortalecimento da capacidade técnica dos profissionais do
programa em gestão e divulgação de dados:
 Preparação para uma auditoria formal da qualidade de dados·
 Avaliações externas realizadas por parceiros, outros
intervenientes
Etapas de implementação
Normalmente, a ARQD pode ser implementada em seis
etapas:
 Identificar o objetivo da ARQD
 Selecionar os níveis e centros a serem incluídos
 Identificar indicadores, fontes de dados e período
dos relatórios.
 Realizar visitas aos pontos de prestação de serviço /
centros.
 Examinar os resultados e as conclusões.
 Elaborar um plano de reforço do sistema, incluindo
medidas de seguimento.
Cronologia e etapas da ARQD
FASE 1
FASE 2
FASE 3
FASE 4
PREPARAÇÃO
IMPLEMENTAÇÃO
PLANO DE AÇÃO
SEGUIMENTO
1. Definir a
abrangência da
AQD
2. Definir os
indicadores, as
fontes de
dados e o
período
3. Identificar e
notificar aos
pontos de
prestação de
serviço
4. Avaliar o
sistema de
gestão de
dados
6. Resumir as
conclusões e
elaborar o
plano de ação
7. Implementar
as atividades e
realizar o
seguimento
5. Verificar os
dados
A implementação é realizada na Unidade de
M&A, nos pontos de prestação de serviços e
nos níveis intermediários de agregação,
dependendo da abrangência da AQD
Exemplo: Seleção de indicadores
DOENÇA
INDICADORES
PERÍODO DO RELATÓRIO
1.Número de pacientes a
tomar ARV
Período de 3 meses
[1-Nov-05 / 31-Jan-06]
Valores
nacionais
Tuberculose
2.O número de casos de TB
com escarro positivo
registados em DOTS, os
quais tenham sido tratados
com êxito
Período de 3 meses
[1-Out-04 31-Dez-04]
Valores
nacionais
Malária
3.Número de mosquiteiros
tratados com insecticida
(MTI) distribuídos (ou seja,
o número de cupões
resgatados)
VIH/SIDA
Período de 6 meses
[1-Nov-2005 / 30-Abr2006]
Valores
divulgados
para o
Fundo
Global
Metodologia da ARQD
 Verificação de dados
 Análise de documentação
 Recontagem dos resultados – rastrear e verificar
 Verificações cruzadas – comparar com fontes de
dados alternativos
 Desempenho na divulgação de dados
 Pontualidade, totalidade, disponibilidade (nível
intermediário e superior)
 Avaliação do sistema
 Há elementos de estrutura implementados para
assegurar a qualidade dos dados divulgados?
Metodologia da ARQD
Componente de verificação de dados
Rastrear e verificar
os dados referentes
aos indicadores
Unidade de
Gestão de
M&A
Pontos de
Prestação de
Serviços /
Organizações
Níveis
Intermediários
de Agregação
(ex., Distrito,
Região)
Rastrear e verificar os resultados divulgados
■ OBJETIVO: Avaliar em escala limitada se os Pontos de Prestação de
Serviços e os Centros Intermediários de Agregação estão a recolher e divulgar
dados de forma precisa e pontual.
■ A etapa de verificação de dados ocorre em dois estágios:
-
Verificações aprofundadas nos Pontos de Prestação de Serviços; e
-
Verificações de seguimento nos Níveis Intermediários de Agregação
(Distritos, Regiões) e na Unidade de M&A.
Verificação de dados da ARQD
Unidade de M&A/Nacional
Relatório mensal
Distrito 1
Distrito 2
45
Distrito 3
75
Distrito 4
250
TOTAL
435
ILUSTRAÇÃO
Distrito 3
Relatório mensal
Distrito 4
Relatório mensal
Relatório mensal
CPS 1
45
CPS 3
45
CPS 4
75
CPS 5
50
CPS 2
20
TOTAL
45
TOTAL
75
CPS 6
200
TOTAL
65
TOTAL
250
Centro de Prestação de
Serviços 1
Relatório mensal
DocumentoFonte 1
65
Distrito 2
Relatório mensal
No. ARV
Distrito 1
45
Centro de Prestação de
Serviços 2
Relatório mensal
No. ARV
DocumentoFonte 1
20
Centro de Prestação de
Serviços 3
Relatório mensal
No. ARV
DocumentoFonte 1
45
Centro de Prestação de
Serviços 4
Relatório mensal
No. ARV
DocumentoFonte 1
75
Centro de Prestação de
Serviços 5
Relatório mensal
No. ARV
DocumentoFonte 1
50
Centro de Prestação de
Serviços 6
Relatório mensal
No. ARV
DocumentoFonte 1
200
Pontos de Prestação de Serviços – Verificação de Dados
PONTO DE PRESTAÇÃO DE SERVIÇOS - TIPOS DE VERIFICAÇÃO DE DADOS
Verificações
Verificação no. 1:
Análise da
documentação
Verificação no. 2:
Verificação de
dados
Verificação no. 3:
Verificações
cruzadas
Descrição
-
Examinar se os documentos-fonte de todos os
indicadores estão disponíveis e completos para o
período do relatório selecionado.
Em todos
os casos
Rastrear e verificar os números divulgados: (1)
Recontar os valores divulgados com base nos
documentos-fonte disponíveis; (2) Comparar os
valores verificados aos valores divulgados pelo
centro; (3) Identificar os motivos de eventuais
diferenças.
Em todos
os casos
Realizar “verificações cruzadas” entre os totais
verificados do relatório e outras fontes de dados
(ex. registos de stock, relatórios de laboratório,
etc.).
Se for
viável
Verificação de Dados - ARQD
Metodologia de ARQD
Componente de Avaliação do Sistema
Avaliação do
sistema de gestão e
divulgação de
dados
Unidade de
Gestão de
M&A
Pontos de
Prestação de
Serviços /
Organizações
Níveis
Intermediários
de Agregação
(ex., Distrito,
Região)
Avaliar o sistema de gestão e divulgação de dados
■
OBJETIVO:
Identificar potenciais riscos à qualidade dos dados criados pelo
sistema de gestão e divulgação de dados em:
-
Unidade de Gestão de M&A;
Pontos de Prestação de Serviços;
Qualquer Nível Intermediário de Agregação (Distrito ou Região).
■
A ARQD avalia tanto (1) a concepção; como (2) a implementação do sistema de
gestão e divulgação de dados.
■
A avaliação abrange 8 áreas funcionais (RH, Formação, Processos de Gestão de
Dados, etc.)
Áreas Funcionais de um Sistema de M&A que afetam a qualidade dos dados
QUESTÕES DE AVALIAÇÃO DO SISTEMA POR ÁREA FUNCIONAL
Áreas funcionais
I
Capacidades,
funções e
responsabilidades
de M&A
II
Formação
III
Requisitos para
divulgação de
dados
IV
V
Definições de
indicadores
Formulários /
Ferramentas para
recolha e
divulgação de
dados
Exemplos de Questões
1
Os profissionais de M&A e gestão de dados estão identificados
e com suas responsabilidades claramente atribuídas?
2
A maioria dos principais profissionais de M&A e gestão de dados
recebeu formação necessária?
3
O Programa/Projeto documentou claramente (por escrito) o que
é divulgado e a quem, para além de como e quando a
divulgação é necessária?
4
Há definições de indicadores operacionais que atendam aos
padrões pertinentes e são seguidas sistematicamente por todos
os pontos de prestação de serviços?
5
Há formulários padronizados de recolha e divulgação de dados
que sejam utilizados sistematicamente?
6
Os documentos-fonte são mantidos e disponibilizados em
conformidade com uma política escrita?
Áreas funcionais de um Sistema de M&A que afetam a qualidade dos dados
VI
VII
VIII
Processos de
gestão de
dados
7
Há documentação clara das etapas de recolha, agregação
e manipulação dos dados?
Mecanismos e
controlos de
qualidade de
dados
8
Os problemas de qualidade de dados estão identificados e
há mecanismos para resolvê-los?
9
Há procedimentos claramente definidos e seguidos para
identificar e conciliar discrepâncias nos relatórios?
10
Há procedimentos claramente definidos e seguidos para a
verificação periódica dos dados - fonte?
11
O sistema de recolha e divulgação de dados do
Programa/Projeto está ligado ao Sistema Nacional de
Divulgação de Dados?
Ligações com o
Sistema
Nacional de
Divulgação de
Dados
Avaliação do Sistema de ARQD
Parte 2. Avaliação do Sistema
I - Capacidades, Funções e Responsabilidades de M&A
1
Há técnicos responsáveis especificamente por examinar os valores agregados antes
de encaminhá-los ao próximo nível (p.ex., aos distritos, aos gabinetes regionais, à
Unidade Central de M&A).
2
A responsabilidade pelo registo dos serviços prestados em documentos-fonte está
claramente atribuída a um técnico / profissional pertinente.
Sim - Completamente
Parcialmente
Favor Comentar
Não - Nada
Favor Comentar
Parcialmente
Favor Comentar
Não - Nada
Favor Comentar
II - Formação
3
Todos os técnicos / profissionais pertinentes receberam formação sobre os
processos e as ferramentas de gestão de dados.
III - Requisitos para divulgação de dados
4
A Unidade de M&A deu orientação por escrito aos Pontos de Prestação de Serviços
sobre os requisitos e os prazos para divulgação de dados.
IV - Formulários e ferramentas de recolha e divulgação de dados
5
A Unidade de M&A deu instruções claras sobre como preencher os
formulários/ferramentas de recolha e divulgação de dados.
6
Os documentos-fonte e os formulários/ferramentas de divulgação de dados
especificados pela Unidade de M&A são utilizados com uniformidade pelo Ponto de
Prestação de Serviços.
7
Todos os documentos-fonte e formulários de divulgação de dados pertinentes à
medição do(s) indicador(es) estão disponíveis para fins de auditoria (incluindo os
relatórios impressos e datados, no caso de um sistema informatizado).
8
Os dados recolhidos no documento-fonte têm exactidão suficiente para medir o(s)
indicador(es) (ou seja, são recolhidos dados relevantes, com distribuição por sexo,
faixa etária, etc., quando o indicador especifica a desagregação de acordo com estas
características).
Sim - Completamente
Parcialmente
Sim - Completamente
Favor Comentar
Resultados da ARQD
1- Solidez do Sistema de M&A, avaliação baseada numa revisão do
sistema de gestão e divulgação de dados do programa/projeto,
incluindo respostas para as questões resumidas gerais sobre a
qualidade da concepção e implementação do sistema;
2- Fatores de verificação gerados no exercício de recontagem de
rastreamento e verificação realizado com os registos primários
e/ou relatórios agregados (ou seja, o razão entre o valor recontado
do indicador e o valor relatado);
3- Relatórios disponíveis, pontuais e completos percentagens
calculadas no Nível Intermediário de Agregação e na Unidade de
M&A;
4- Plano de ação para reforçar o sistema em cada nível avaliado.
Estatísticas resumidas da ARQD – Painel do Nível Específico
Parte 4: PAINEL: Unidade de M&A
Verificação de Dados e Relatórios Unidade de M&A
Avaliação da Gestão de Dados Unidade de M&A
120%
Capacidades, Funções e
Responsabilidades de M&A
2.3
3
100%
2
Ligações com o Sistema Nacional
2.0
100%
Formação
3.0
90%
90%
% pontuais
% completos
80%
1
80%
0
60%
Gestão de dados e controlos de
qualidade
Definição dos indicadores
1.0
1.0
40%
Formulários e ferramentas de
recolha e divulgação de dados
2.3
Exigências de divulgação de dados
1.0
20%
0%
Factor de
verificação
% disponíveis
Estatísticas Resumidas de ARQD – Painel Global
Avaliação da Gestão de Dados - Consolidação Global
Verificação de Dados e Relatórios - Consolidação Global
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%
Capacidades, Funções e
Responsabilidades de M&A
3
Ligações com o Sistema Nacional
de Divulgação de Dados
2
Formação
1
0
Processos de gestão de dados e
controlo de qualidade
Definição de Indicadores
Formulários e Ferramentas de
recolha e divulgação de dados
Requisitos para Divulgação de
Dados
95%
90%
90%
42%
% Disponíveis
% Pontuais
% Completos
Factor de
Verificação
DIMENSÕES DA QUALIDADE DE DADOS – Distribuição das respostas à lista de verificação por dimensão
(Nota: O número de respostas está localizado em cada barra colorida)
Exactidão
13
Fiabilidade
12
Pontualidade
Confidencialidade
0.00%
15
7
3
15
3
4
20.00%
30.00%
50.00%
60.00%
1
Parcialmente
1
Não - Nada
0
10
40.00%
Sim Completamente
0
4
3
10.00%
1
14
7
10
1
21
8
6
Precisão
21
13
7
Totalidade
Integridade
17
1
70.00%
80.00%
90.00%
100.00%
N/A
Resultado da ARQD - Plano de Ação
para Fortalecer o Sistema
Plano de Acção Final da ARQD
País:
Programa/Projecto
Data da ARQD:
Data do seguimento proposto
Descrição do ponto de acção
Acrescente linhas conforme for necessário
Responsável
Prazo
Necessidades de assistência
técnica
Data do seguimento e
comentários
Ilustração – Conclusões sobre os sistemas na Unidade de M&A
(VIH/SIDA)
ILUSTRAÇÃO
NÍVEL DE
DIVULGAÇÃO
DE DADOS
Unidade de
M&A Nacional
CONCLUSÕES
RECOMENDAÇÕES
 Não há nenhuma documentação
que especifique as funções e
responsabilidades de gestão de
dados, cronogramas de divulgação
de dados, formulários
padronizados, política de
armazenamento…
 Desenvolver um manual de gestão de
dados a ser distribuído para todos os
níveis de divulgação
 Incapacidade de verificar os
valores divulgados pela Unidade
de M&A em virtude da excessiva
falta de relatórios (dos Pontos de
Prestação de Serviços) (67%)
 A maioria dos relatórios recebidos
pela Unidade de M&A não são
assinados por nenhum funcionário
ou gestor do Ponto de Prestação
de Serviços
 Arquivar sistematicamente todos os
relatórios dos Pontos de Prestação de
Serviços
 Elaborar normas sobre como lidar
com relatórios em falta ou
incompletos
 Enfatizar a necessidade de realizar
uma revisão documentada dos dados
apresentados – por exemplo, não
aceitando relatórios não revistos
NÍVEL DE
DIVULGAÇÃO
DE DADOS
CONCLUSÕES
Impossibilidade de acessar aos
Nível
documentos-fonte (ou seja,
Intermediário relatórios dos Pontos de Prestação
de Agregação de Serviços) referentes a um
determinado período
Pontos de
prestação de
serviços’’
RECOMENDAÇÕES
Melhorar o processo de
armazenamento de documentos-fonte,
identificando claramente o documentofonte armazenado por data
Confusão acerca da definição do
que venha a ser um paciente
“perdido para seguimento” (3
meses para o Hospital Temeke; 2
meses para o Hospital Iringa).
A Unidade de M&A deve comunicar
claramente, para todos os pontos de
prestação de serviços, a definição de
um paciente “perdido para
seguimento”
Os pontos de prestação de
serviços não removem
sistematicamente pacientes
“perdidos para seguimento” das
contagens de pessoas que estão a
receber ART
Elaborar um mecanismo para
assegurar que os pacientes “perdidos
para seguimento” sejam removidos
sistematicamente das contagens de
pessoas que estão a receber ART
Nos casos de "centros satélites", o
sistema de divulgação de dados e
os documentos-fonte nem sempre
identificam a localização de um
paciente
Elaborar um sistema de codificação
que identifique claramente o local de
tratamento de um paciente, para que
se possa fazer a verificação dos
dados
Principais fatores de êxito para a qualidade dos dados
1. Sistemas de informação eficientes
2. Definição dos indicadores clara e utilizada com uniformidade em todos os
níveis
3. Descrição das funções e responsabilidades em todos os níveis
4. Cronogramas específicos de divulgação de dados
5. Formulários / ferramentas de recolha e divulgação de dados padronizados /
compatíveis, com instruções claras
6. Procedimentos de revisão de dados documentados, a serem executados em
todos os níveis
7. Procedimentos para resolver problemas de qualidade de dados (dados em
falta, contagem repetida, pacientes perdidos para seguimento…)
8. Política de armazenamento e práticas de preenchimento que permitam a
recuperação de documentos para fins de auditoria
PREPARAÇÃO:
Finalidade da documentação solicitada
1
Lista de pontos de
prestação de serviços
com os resultados
mais recentes
Para ajudar a selecionar os pontos de prestação de
serviço a serem visitados.
Descrição do sistema
de divulgação de
dados
Para compreender como os dados são registados e
divulgados pelos Pontos de Prestação de Serviços
para a Unidade de M&A.
2
3
Modelos de
formulários
Para familiarizar a Equipa de Avaliação com os
formulários e relatórios a serem examinados.
4
Outros documentos
Para possibilitar o entendimento da concepção do
Sistema de Gestão e Divulgação de Dados.
Algumas Experiências com a ARQD
 Nigéria
 Quénia
 Tanzânia
 Costa do Marfim
 Guiana
 Haiti
 Moçambique
Exercício
Em pares analisem os dados dos relatórios e
utilizem a ferramenta ARQD – Parte 1 Verificação
de Dados para o nível intermediário e Unidade de
M&A.
Calcule os índices quanto a:
• Fator de Verificação
• Disponibilidade
• Pontualidade e
• Relatórios Completos
A MEASURE Evaluation é financiada pela Agência de
Desenvolvimento Internacional dos EUA (USAID) por meio do
Acordo de Cooperação GHA-A-00-08-00003-00 e é implementada
pelo Centro Populacional da Carolina, Universidade da Carolina do
Norte, em parceria com Futures Group, John Snow, Inc., Macro
International Inc., Management Sciences for Health, e Tulane
University.
Visite-nos on-line em http://www.cpc.unc.edu/measure.