Metodologia de avaliação da qualidade dos dados da imunização
[DQS](Data quality self-assessment ) [1]
- [Eduardo S. Ponce Maranhão – o ppt](Grupo de apoio ao PAI-PNI e APS na
Ensp- Fiocruz
2004
•
A metodologia da avaliação da qualidade dos dados da imunização foi criada pela OMS para avaliar
diferente aspectos da imunização “ o sistema de monitoramento”
•
O monitoramento da imunização se refere a medida rotineira da cobertura de vacinação e outros
indicadores do programa.
•
Esta metodologia foi adaptada da metodologia de auditoria da qualidade dos dados ( Data Quality
Audit) [DQA] que foi desenvolvida dentro da referencia do GAVI ( Global Alliance for Vaccines
and Immunization)
•
Os objetivos do DQS são: avaliar a qualidade, a oportunidade e a confiabilidade(accuracy) dos dados
produzidos pelo sistema de monitoramento da imunização do país
•
•
•
O DQS necessita ser flexível.
Ajuda os gerentes a identificar problemas
e propor recomendações para melhoria da informação do programa
•
O DQS é para ser usado pelo pessoal que coleta e utiliza os dados de imunização nos níveis central
nacional, estadual / provincial, regional, local
2
•
O grupo de avaliação define:
•
•
•
•
•
os parâmetros que serão avaliados,
desenvolvem os questionários,
conduzem a avaliação em campo[no terreno],
analisam os achados,
e propõem as recomendações
•
•
•
•
•
•
•
O grupo de avaliação inclui:
Pessoal de atenção primária de saúde
Epidemiologistas regionais e locais,
Enfermeiros de saúde pública,
Estatísticos,
Gerentes do programa de imunização,
Outros gerentes de níveis + altos do sistema
3
•
É necessário se descrever o Sistema de Monitoramento de Imunização do país avaliado
•
Os 3 componentes gerais do DQS são:
•
A qualidade do sistema de monitoramento -- -> é avaliado usando questionários desenhados pelo
grupo avaliador
A confiabilidade(accuracy) dos dados é avaliada comparando os dados disponíveis nos
formulários[fichas] de coleta de dados dos diferentes níveis do sistema
Dados diários das vacinas administradas nas unidades de saúde são comparados com dados
agregados notificados do nível local e estadual /provincial e os dados disponíveis no nível central
nacional
A periodicidade do envio dos dados é avaliado verificando quando as unidades notificaram ou
receberam os informes de dados registrados, encaminhados e ou recebidos
•
•
.
O sistema de monitoramento de um país [4]
•
•
•
•
•
•
•
•
•
Geralmente fornece a imunização através do Programa de imunização[PAI / PNI]
O Programa se realiza através de muitas unidades de saúde[Centros,Postos, Hospitais] que se
distribuem nas áreas de saúde e regiões de saúde
O Programa de imunização usa um sistemas computadorizado( no Brasil o API) para o registro de
doses de vacinas administradas
Este sistema de registro da vacinação tem sido implementado em todas ou em várias regiões ou áreas,
e nas unidades primárias de saúde
O PAI / PNI é o provedor geral das imunizações, ( em alguns países a área materno-infantil ou
vigilância epidemiológica ou em saúde é a entidade coordenadora/ regulatória)
Administrativamente, em geral o programa está organizado em municípios, regiões e áreas de saúde
Cada área, ou município recebe os dados de imunização de suas unidades de saúde e de instituições
privadas .
A área ou município consolida a informação e conduz a análise adequada
Toda a informação sobre cobertura está estratificada por distrito ou município de residência
Sistema de monitoramento da qualidade da imunização[5]
•
•
•
•
•
•
Os aspectos(componentes) avaliados incluem :
A qualidade dos registros e prática de arquivamento
A analise dos dados
O planejamento
A capacitação[treinamento]
A supervisão
•
Um formulário[formato] específico é desenhado para cada nível do sistema de saúde( unidades de
saúde, hospital, área ou região, município)
Os questionários são desenhados para respostas dicotômicas e para o escore de acordo com pontos
[sistema de pontuação]
•
•
•
Dividindo o escore obtido para cada local visitado(US) pelo escore máximo possível para cada
componente se obtém o Índice de Qualidade
Para se dispor de Índices de Qualidade, para os componentes avaliados, expressos em porcentagem e
facilitar a comparação entre os níveis equivalentes( unidades de saúde,áreas, regiões,municípios).
Utilizam-se os gráficos radares[pode-se usar o MS-Excel] apresentar o gráfico
Confiabilidade do dado[Data Accuracy)[6]
•
•
•
Para avaliar a “acurácia” do dado
Os dados disponíveis nos níveis local são comparados com os dados encontrados nas áreas de saúde
ou municípios [SMSs] com os dados dos níveis regional/estadual[SESs] e do nível central nacional
[MS-PNI] quando possível
A razão de acurácia ( Accuracy ratio), expressa como uma percentagem é usada como medida de
acurácia do dado
•
Esta razão é : No de doses de vacina, verificadas ou contadas no nível local dividida pelo No de
doses de vacina informadas ao nível + alto, multiplicado por cem
•
Ex: razão de acurácia[razão de exatidão] de dados enviados por uma unidade de saúde =
No de doses DPT3 ( crianças<1ano) registradas durante um determinado mês / No de doses
DPT3(crianças <1ano) encontrada nos informes daquela unidade de saúde da área ou
município[SMSs] no mesmo mês X 100
Oportunidade(periodicidade) [ 8 ]
•
Dados são coletados para avaliar a oportunidade(periodicidade).
•
Para se considerar o informe dentro da oportunidade( periodicidade), se estabelece o
momento[deadlines] no mês para informar ao nível superior
•
Este componente só pode ser avaliado quando a data de envio ou a data do registro está presente
Confiabilidade dos dados (Data Accuracy) [7]
•
•
•
•
•
Obs:Se verificamos que nem todas as doses informadas ao nível superior podem ser verificadas no
nível inferior , o coeficiente de acurácia será <100%,
Indicando uma sobre-informação(over-reporting)
Isto seria o caso se + doses são encontradas na região [ou município] do que as registradas nas
unidades sanitárias ou na unidade sanitária em questão
Do mesmo modo , se + doses são encontradas nos informes diários de uma unidade de saúde, que
numa área de saúde , região ( ou município), o coeficiente de acurácia será >100% indicando uma
sub-informação(under-reporting)
* Obs: A agregação dos coeficientes de acurácia( no mesmo nível) para se obter um coeficiente de
um distrito ou município, província ou estado é possível ponderando[dando o peso] de acordo com o
tamanho da população.Entretanto , a agregação deve ser feita com cuidado, pois o resultado pode
falsamente sugerir dados de acurácia tendendo simultaneamente p/ sobre e sub-informação
Implementação do DQS[8]
•
O DQS está dividido em 3 estágios:
•
1. Oficina inicial O grupo de avaliação dedica os primeiros 3 dias da avaliação para definir o
escopo (abrangência) da avaliação
•
Desenvolve os questionários ,formulários,formatos[quadros, tabelas] que serão testados em campo(
para ver como eles funcionam)
A metodologia DQS utiliza amostragem aleatória ou seleção de conveniência das unidades locais
Obs: geralmente os locais selecionados se baseiam em critérios logísticos e outras considerações
práticas
•
•
Implementação[9]
•
•
2.Trabalho de campo  Durante os 3 dias seguintes, os grupos(times) visitam regiões, ou
municípios(SMSs), Unidades Sanitárias[centros, postos de saúde, hospitais, instituições privadas que
oferecem vacinação)
3.Oficina de Análise  Durante os últimos 2 dias, cada grupo(time) analisa os achados e
apresentam aos outros grupos(times)
Um resumo dos achados gerais e as recomendações propostas são apresentadas as autoridades
nacionais [ estaduais ] no final dos trabalhos
Os resultados[10]
•
Um informe final com os resultados detalhados e recomendações é preparado e distribuído a todo o
pessoal relevante e para todos os locais visitados.
•
Os resultados são apresentados com os aspectos fortes e aspectos fracos de cada nível
Questões padrão para avaliar a qualidade do sistema de monitoramento
•
Componentes:
•
•
•
•
•
•
•
Registro (distrito/município)
Arquivamento (distrito/município)
Arquivamento computadorizado (distrito/município)
Informe[notificação] ( distrito/ município)
Informação demográfica (distrito/município)
Resultados centrais/ análises ( distrito/município)
Evidencia do uso dos dados para ação (distrito/município)
•
•
•
•
•
•
Registro ( U.S)
Informe[notificação]( U.S)
Arquivamento (U.S)
Informação demográfica (U.S)
Resultados centrais / análises (U.S)
Evidencia do uso dos dados para ação (U.S)
Países onde foi realizado o DQS
•
•
•
•
•
•
•
•
Congo
Indonésia
Tanzânia
Moçambique
Bulgária
Tunísia
Lao
Nepal
Na América:
•
•
•
Costa Rica
Nicarágua
Haiti
Referências
•
WHO-The immunization data quality self-assessment(DQS)tool . ,2004
•
PAHO-Immunization Data Quality Self-assessment: The Costa Rica Experience.; Immunization
Newsletter- Vol XXVIII, number 1-Feb 2006
•
O. Ronveaux; D.Rickert;S Handler;H.Groom;. Contrôle de la qualité des données de vaccination:
vérification de la qualité et de la cohérence de systèmes de vaccinovigilance –Bull.World Health
Organ vol.83 no.7 Genebra July 2005
EX: resultados gerais –Costa Rica[resumo]
•
•
•
•
•
•
•
•
Um informe final com resultados detalhados e com recomendações foi preparado e distribuído para
todos os grupos de interesse relevantes( stakeholders) e para todos os locais visitados.
Os resultados foram apresentados com os aspectos fortes e aspectos fracos de cada nível.
Entretanto, a consolidação dos resultados foi difícil devido a aspectos fortes encontrados em alguns
lugares e fracos em outros
Também, a seleção dos locais não foi aleatória, restringindo a possibilidade de generalizar o
encontrado
Olhando a qualidade do sistema de monitoramento da imunização, aspectos fortes e fracos foram
encontrados em cada nível .
Em geral, as práticas de registro e arquivamento foram adequadas a todos os níveis, com exceções
em alguns hospitais nacionais e instituições privadas.
A forma de registro primário de doses diárias não inclui a variável “sexo”( embora esta é capturada
no sistema computadorizado SISVAC, em muitas USs )
E os grupos de idade não incluem a categoria de pessoas > 65 anos, limitando a capacidade de
monitorar o impacto sazonal da vacinação influenza, no calendário de vacinação desde 2004
Ex:Costa Rica(continuação)
•
•
•
•
•
•
•
•
•
•
As áreas para verificar o melhoramento da utilização do SISVAC foram identificadas
Os dados de análise da imunização são produzidos em todos os níveis
Entretanto, a análise é geralmente restrita as vacinas BCG,OPV3,DTP3 e MMR 1 , relacionada ao
uso de indicadores como taxas de abandono é limitado No de crianças que receberam a 1*dose –
No de crianças que receberam a 3* dose / No de crianças que recebem 1 dose X 100
Os dados são apresentados em gráficos e mapas
As atividades de imunização são sempre incluídas no planejamento e treinamento/capacitação e
tópicos do sistema de qualidade de dados são considerados
Entretanto, o apoio ao nível + alto de coleta e informe[notificação] assim como o uso do SISVAC, é
fraco
A supervisão do componente informação é incipiente, geralmente limitado a avaliação do período da
data de transmissão dos dados [ oportunidade]
Verificando os dados de acurácia [confiabilidade] a legislação da Costa Rica coloca como
compulsória a notificação das doses de vacina administradas para todos os provedores de vacinas a
população
Entretanto, sub-notificação foi verificada em muitos hospitais e instituições privadas
Em 1 hospital onde foi possível quantificar a notificação incompleta [ sub-notificação]as razões de
exatidão( r. de acurácia) chegaram a, 141% BCG; 143% Hepatite B; representando 41 % e 43% de
sub-notificação[notificação incompleta] respectivamente
Ex:Costa Rica(continuação)
•
•
•
•
•
•
As regiões não recebem informes com a quantidade de todas as doses administradas nas suas áreas de
saúde
Não existe mecanismos padrões para gerenciar a notificação de pessoas que recebem a vacinas fora
do seu distrito de residência
Doses de vacinas administradas a não residentes não puderam ser monitoradas
Quanto ao período de notificação, muito lugares visitados registram dados e recebem notificação e
informes
Atrasos foram encontrados , a maioria em hospitais
Dados notificados[informados] tardiamente podem aumentar o risco de sub-notificação