Faculdade de Medicina da Universidade do Porto Serviço de Bioestatística e Informática Médica Introdução à Medicina 2004/2005 Qualidade dos dados nos Registos Clínicos Electrónicos (RCE) 3ª apresentação Regente: Professor Doutor Altamiro Pereira Orientadora: Dr.ª Filipa Almeida Autores: TURMA 7/ 1ºANO Fátima Seabra; Fernando Leite; Filipa Godinho; Filipa Fernandes; Filipa Moreira; Filipa Bianchi de Aguiar; Filipe Pacheco; Filipe Santos; Filipe Martins; Filipe Soares; Francisca Santos; Carlos Aguiar 1 Introdução Definição RCE Evolução e importância dos RCE Objectivos 3 Definição de RCE Base de dados institucional de ficheiros criados por profissionais de saúde, contendo dados pertinentes de carácter clínico e administrativo;1 Dados informatizados, permitindo acesso instantâneo e constante através de um terminal;1 Permite o armazenamento, consulta e partilha de informação clínica; 2 _____________________________________________________________________________________ 1 http://im.med.up.pt_RCE 2 The computer-based patient record. (1997) 4 Evolução e importância De 1991/1997 houve um boom tecnológico 2; Suporte na prestação de cuidados de saúde e na decisão clínica; Avaliação da qualidade dos cuidados prestados; Gestão e planeamento dos recursos de saúde; Auxílio na investigação e apoio na educação médica. 1,2 _____________________________________________________________________________________ 2 The computer-based patient record. (1997) 6 Hogan, WR, Wagner, MM. (1997) 7 Brennan, Stead. (2000) 5 é essencial a observação periódica da qualidade dos dados: correctness e completeness 6,7 Correctness: proporção de observações contidas nos RCEs que traduzem o verdadeiro estado do paciente, é portanto uma avaliação da veracidade dos dados – valor preditivo positivo; Completeness: proporção de observações acerca do paciente que estão realmente registadas no RCE – sensibilidade; 6 Objectivos Objectivo primário - Analisar os resultados encontrados em publicações sobre a qualidade dos dados nos RCE; Objectivo secundário - Avaliar a qualidade metodológica das publicações seleccionadas. 7 Métodos 1. Identificação dos estudos 2. Selecção dos estudos 3. Avaliação dos estudos 4. Recolha de dados 5. Análise 8 1. Identificação dos estudos • Publicações entre 1997 e 2005, indexadas na MEDLINE, de artigos que relacionem a qualidade dos dados com sistemas electrónicos de informação clínica. "Medical Records Systems, Computerized“ [MeSH] AND (accuracy OR reliability OR completeness OR error OR quality) NOT ("Internet"[MeSH] OR "Letter"[Publication Type] OR "MetaAnalysis"[Publication Type] OR "Editorial"[Publication Type] OR "Review"[Publication Type]) • Limites: entre 1997 e 2005 9 2. Selecção dos Estudos 1ª selecção: aplicação dos critérios de exclusão Leitura de cada abstract por três revisores; Exclusão dos artigos que cumpriam pelo menos um dos critérios de exclusão: 6 A: O Objecto de estudo não é um RCE 2; B: Não está bem determinado o gold standard; C: Não é abordada a Qualidade dos Dados;8 Para a exclusão foi exigida a concordância de dois revisores; Em caso de dúvida o artigo não é excluído; _____________________________________________________________________________________ 2. The Computer-based Patient Record. (1997) 6. Hogan, WR, Wagner, MM. (1997) 8. Thiru K, Hassey A, Sullivan F (2003) 10 2. Selecção dos Estudos 2ª selecção: aplicação dos critérios de inclusão Leitura de cada artigo por três revisores; Inclusão dos artigos que obedecem integralmente aos seguintes critérios de inclusão 8,9: 1) O tipo de dados em estudo é alfanumérico; 2) O RCE em estudo deve tratar mais do que uma variável; 3) A qualidade dos dados é definida pelos conceitos de correctness e completeness, ou sinónimos; 4) O gold standard utilizado não pode ser questionários nem estatísticas; _____________________________________________________________________________________ 8 Thiru K, Hassey A, Sullivan F (2003) 9 Stauberg et al. (2003) 11 3. Avaliação dos Estudos Uma vez seleccionados os artigos, é necessário avaliá-los quanto à sua qualidade metodológica; Dois avaliadores classificam cada artigo segundo uma escala de 0 a 18 considerando vários parâmetros: 6 Descrição do RCE: métodos de recolha de dados (1); abrangência (1); conteúdo geral dos dados (1); acessibilidade (1); registo oficial (1); Metodologia; técnicas de amostragem não enviesadas (2); ocultamento (4); gold standard próximo do verdadeiro estado do paciente (4); gold standards eram outros registos (2); ambos os conceitos de qualidade eram medidos claramente (2); Objectivos do estudo; (1) _________________________________ 6 Hogan, WR, Wagner, MM. (1997) Protocolo 1 12 4. Recolha de dados É recolhida a informação de cada artigo, com o preenchimento de um protocolo de estudo, no que respeita ao: Artigo (objectivo de estudo, tipo de estudo, gold standard utilizado, tempo de duração do estudo, alcance, amostra, etc.) RCE em estudo (nome, programação, registo oficial, forma de introdução de dados e seu conteúdo, acessibilidade, completeness, correctness, etc.) Os dados foram armazenados numa base de dados SPSS 12.0 Protocolo 2 13 5. Análise Avaliados os artigos e recolhidos os seus dados mais relevantes, têm-se em conta as divergências metodológicas e passa-se ao tratamento de dados: Análise • da reprodutibilidade da primeira fase da selecção; • da qualidade dos artigos (avaliação): é introduzida e analisada na base de dados SPSS • da recolha de informação: sobre os artigos sobre os RCE NOTA: A análise estatística (metanálise) da qualidade metodológica dos artigos e dos dados nos RCE: Só pode ser executada se o método utilizado, a qualidade metodológica e as conclusões (correctness e completeness) forem homogéneas. 14 Resultados Progressão do trabalho 1.500 1.400 1.300 1450 1370 1250 1.200 1.100 1.000 Nº de artigos 900 825 800 700 600 500 Dos 108 artigos resultantes da 1ª fase de selecção: aplicação de critérios de exclusão, apenas foram recolhidos 42 e como tal, só estes foram submetidos à 2ª fase de selecção. 400 300 200 108 106 100 7 0 "Medical Exclusão de Exclusão de Limite 1ª fase de 2ª fase de Records arigos artigos Letter, temporal selecção: selecção: System, relacionados Editorial, [1997, 2005] aplicação de aplicação de computerized com Internet Meta-analysis critérios de critérios de " [MeSH] AND e Review exclusão inclusão "data accuracy" Fases do trabalho 15 Gráfico 1 – progressão do trabalho Resultados Reprodutibilidade inter-revisor: 1ª selecção de exclusão 100,00 825 80,00 108 60,00 50,93 40,00 34,25 % de artigos incluídos 20,00 14,82 0,00 Incluídos com unanimidade Incluídos com 2 revisores favoráveis Incluídos com dúvida 16 Gráfico 2 –reprodutibilidade inter-revisor Resultados Avaliação da qualidade metodológica dos artigos [0,4] – Medíocre [5, 8] – Não Satisfaz [9, 12] – Satisfaz [13, 15] - Bom [16, 17] – Muito Bom [18] - Excelente voltar 17 Gráfico 3 – avaliação Resultados Avaliação da qualidade metodológica dos artigos Estatística Classificação Final Média 11,86 Desvio Padrão 2,12 Mínimo 9 Máximo 14 Tabela 1 – avaliação voltar 18 Resultados Tabela da recolha de informação relativa aos artigos. Data de publicação do artigo Objectivo primário do estudo Ano do início do estudo Tempo de estudoa nb Paul C. Tang et al. 10 1999 1996 11 Charles R. Woods 11 2001 1994 Alan Hassey et al. 12 2001 1994 Dominik Aronsky et al. 13 2000 Jürgen Stausberg et al. 9 Autores do estudo Desenho de estudo Tipo de amostragem Gold-Standard Aleatória Registo clínico em papel 30 317 Aleatória Registo clínico em papel 72 Registo clínico em papel 1995 17 241 Não aleatória Examinação/ observação directa do paciente Entrevista 2003 2001 4 254 Aleatória Registo clínico em papel David B. Preen et al. 14 2004 413 Aleatória Registo clínico em papel Charlton Wilson et al. 15 2001 465 Aleatória Registo clínico em papel A Número de registos que foram revistos Duração do estudo efectuado acerca dos RCE Objectivo primário do estudo não é o RCE Objectivo primário do estudo é o RCE Transversal Tabela 2 – Artigos b voltar 19 Resultados Tabela da recolha de informação relativa aos RCE Paul C. Tang et al. 10 Nome RCE Registo Oficial - Alan Hassey et al.12 Dominik Aronsky et al.13 Jürgen Stausberg et al.14 David B. Preen et al.15 Charlton Wilson et al.16 Help (Health Evaluation through Logical Processing) system Hospital Morbidity Data System Record RPMS (Resource and Patient Management System) - - - - Charles R. Woods 11 Alcance do RCE Departamento de Pediatria do Reywol Health Center of Forsyth Country, North Caroline North Caroline. Fisher Medical Center Departamento de Emergência do Hospital de Salt Lake City Departamento Geral de Trauma e Cirurgia Vascular Hospitais ligados à Western Australian Data Linkage System Phoenix Indian Medical Center Programa de Base de dados SPSS versão 7.0 Microssoft Access PAL (PTXT application) e TAL (Tanden Application Language) Microssoft Acess 2000 Hospital Morbidity Data System/Western Australian Data linkage system Forma de introdução de dados Int.D Ditado Int.D Int.D RCP/RC RCP/RCE Acessibilidade 24 terminais de emergência, a maioria presente nos quartos dos pacientes Registo no próprio departamento Int.D.- Introdução directa pelo profissional de saúde Ditado- O profissional de saúde ditava a quem introduzia RCP/RCE- Introdução em RCP e transferência para RCE 20 Paul C. Tang et al. Correctness/ completeness do RCE Conteúdo de dados 72,6/91,8% Medicação História clínica Diagnóstico Charles R. Woods 11 89,5/ 72,6% História clínica [factores de risco], exames complementares de diagnóstico, diagnóstico, medicação. Alan Hassey et al.12 Dominik Aronsky et al.13 Jürgen Stausberg et al.14 David B. Preen et al.15 Charlton Wilson et al.16 96,0 / 87,0% 88,9/87,3 % Elevada completeness Baixa completeness e correctness 92,0 / 60,3 % Diagnósticos História clínica Demográficos [Idade,sexo]; Medicação; História clínica; Demográficos, análises clínicas exames complementares de diagnóstico, diagnósticos, relatórios médicos. Exames físicos:[heart rate, respiratory rate, pressão sanguínea sistólica; Temperatura], Exames Administrativos História clínica [Registo de nascimento,Óbitos, eleitorais] [relatórios médicos, resultados laboratoriais, relatóriosradiológic os, exames físicos] História clínica [comorbilidade] Medicação complementares diagnóstico: [saturação sanguínea, estado mental, concentração de ureia no sangue,sódio, glicose, hemato crit, pH arterial] Diagnóstico: [derrame pleural] Dados avaliados Medicação(a) História clínica(b) Diagnóstico(c ) Só avaliam completeness Diagnóstico Diagnóstico Medicação(e); História clínica(f); Diagnóstico História Clínica Medicação(s) Diagnóstico (hiperglicemia)(t) Elevado completeness Baixa completeness e correctness. (s) 95%/59% (t) 89%/26% Exames físicos:[heart rate (g), respiratory rate (g), pressão sanguínea sistólica (i), Temperatura (j)], Exames complementares diagnóstico: [saturação sanguínea (k), estado mental (l), concentração de ureia no sangue (m) ,sódio (n),glicose (o), hemato crit (p),pH arterial (q)] Diagnóstico: [derrame pleural (r)] Correctness/com pleteness de cada categoria de dados (a)87.5% (b) 98.5% (c ) 72.6/ 89.5% 89.5% / 72.6 % 96,0 / 87 % (e) (97.3%), (f) (99.8%),(g) (98.7%), (h) (99.6%),(i) (98.2.%), (j)(98.7%),(k) (89.8%), (l) (83.6%),(m) (93.8%), (n) (96.5%)(o) (93.8%), (p) (96.0%)(q) (62.8%), (r ) (13.7%) 21 Tabela 3- RCE Resultados Categoria de Dados artigos que avaliaram qualitativa ou quantitativamente a categoria n(%) História clínica 3 (42,9%) Exames físicos (heart rate13, respiratory rate13, pressão sanguínea sistólica13, temperatura13) 1 (14,3%) Diagnóstico (hiperglicemia16, derrame pleura13, etc) 6 (85,7%) Exames complementares (saturação sanguínea13; estado mental13, concentração de ureia no sangue13, sódio13, glicose13, hemato crit13, pH arterial13) 1 (14,3%) Medicação /Tratamento 3 (42,9%) avaliação quantitativa da qualidade dos dados correctness completeness n média n média 0 - 2 99,2% 0 - 1 98,8% 4 86,8% 5 63,0% 0 - 1 88,0% 1 95,0% 3 84,4% Tabela 4: Categorias de dados avaliadas e respectivas classificações de qualidade Ignorando os dois artigos que classificavam qualitativamente Correctness: 90, 9%; Completeness: 87,8 % 22 Discussão Artigos (Objectivo Secundário) Avaliação da qualidade metodológica: homogénea? homogeneidade na classificação • classificação final com um desvio padrão reduzido (2,1 p.); • valor médio positivo - classificação qualitativa global de Satisfaz (11,86 p.) apenas dois parâmetros estão em todos os artigos • método de recolha de dados, • descrição do conteúdo dos dados do RCE, parâmetros falham com muita insistência • • • • gold standard que mais se aproxime do verdadeiro estado do paciente (n=1); ocultamento (n=4); acessibilidade (n=2); registo oficial (n=2). ver 23 Discussão Artigos (Objectivo Secundário) Recolha de informação: heterogeneidade de métodos características metodológicas semelhantes: desenho de estudo – transversal; tipo de amostragem – aleatória (excepto num); tamanho da amostra – entre 241 e 465 registos clínicos individuais características díspares: . tempo de estudo – entre 4 a 72 meses; gold standard • mais próximo do verdadeiro estado do paciente (n=1); • RCP na maioria dos casos (n=6) objectivo primário nem sempre era a avaliação da qualidade (n=5) A metanálise não foi realizada ver 24 Discussão Qualidade dos dados nos RCE (Objectivo Primário) Recolha de informação: heterogeneidade de RCEs 2 artigos tinham RCE oficiais forma de introdução dos dados era diversa: Categorias dos dados avaliados: exames físicos, exames complementares de diagnóstico, medicação, história clínica e diagnóstico introdução directa (n=3), registo primeiramente em papel e posteriormente transferidos (n=2) ditados a outro profissional de saúde que os introduzia (n=1) 1 estudo abordou todas as categorias, 4 artigos avaliam apenas uma categoria. diagnóstico não constava num artigo Os valores de Correctness e Completeness nem sempre eram ambos calculados para as categorias em análise ver 25 Discussão Análise individual dos artigos gold standard todos RCP 9, 10,11,12,15,16 diferem substancialmente na estrutura da informação contida; nos estudos não foi dada importância à sua descrição e avaliação; grande dependência do RCE relativamente ao RCP 11,12,15 transferência de dados a partir do RCP; eram construídos com vista à substituição dos RCP; objectividade na avaliação existência de parâmetros de comparação mesmo no texto livre; 9,11,12,15 codificação dos dados. 9,10 26 Conclusões A metodologia dos estudos é satisfatória embora exista alguma divergência: tempo de estudo, gold standard adoptado, objectivo de estudo, quantidade de dados avaliada. Este facto impossibilitou a realização de uma metanálise. Nos RCE há heterogeneidade: métodos de introdução dos dados, acessibilidade ao sistema, conteúdo dos dados e ao facto do registo ser ou não oficial. Assim, pela disparidade de métodos constatada pode duvidar-se da sobrevalorização da qualidade dos dados (Correctness: 90,9%; Completeness: 87,8%). Sugestões – em estudos futuros, para assegurar a validade dos resultados é aconselhável: atribuir maior importância ao gold standard, para que o mesmo se aproxime cada vez mais do verdadeiro estado do paciente; que o registo seja oficial; que exista ocultamento; ter em consideração a acessibilidade, o método de introdução de dados e o conteúdo destes 27 Distribuição de tarefas PARTE DO TRABALHO RESPONSÁVEIS Introdução Francisca Santos, Filipa Godinho, Filipe Martins Métodos/representante Filipa Aguiar Pesquisa na Internet; Filipa Moreira, Filipa Fernandes, Filipa Aguiar Procura dos artigos integrais Filipa Moreira, Filipa Fernandes 1ª selecção / 2ª selecção Grupo 1: Filipa Moreira, Filipa Fernandes, Filipa Aguiar Avaliação dos estudos /Recolha de dados Carlos Aguiar/Filipe Soares, Francisca Santos/Filipa Godinho, Filipa Aguiar/Filipe Martins, Filipe Santos/Fernando, Filipe Pacheco/Fátima Seabra, Filipa Fernandes/ Filipa Moreira reprodutibilidade da 1ªselecção Filipe Pacheco SPSS Fátima Seabra, Filipa Fernandes, Filipe Soares Discussão/Conclusões Filipa Godinho, Filipe Martins, Francisca Santos, Filipa Moreira Primeira apresentação Filipe Santos, Filipa Aguiar Segunda apresentação Fátima Seabra, Filipa Aguiar Terceira apresentação Fátima Seabra, Filipa Aguiar Tabelas e Questionários para preenchimento em cada fase Filipe Santos, Filipa Aguiar, Fátima Seabra, Filipa Godinho Página Web Filipe Pacheco, Carlos Aguiar Grupo2: Fernando Leite, Filipe Santos, Filipe Soares Grupo 3: Carlos Aguiar, Fátima Seabra, Filipe Pacheco Grupo 4: Filipe Martins, Francisca Santos, Filipa Godinho 28 Bibliografia (1) Curso de Informática Médica: Registos Clínicos Electrónicos. [página na Internet] SBIM (2002). Acesso em http://im.med.up.pt_RCE (2) The computer-based patient record: An essencial technology for health care. Committee on improving the patient record, Institute of Medicine. National Academic Press. Washington; 1997. (3) Leape LL, Bates DW, Cullen DJ, et al. Systems analysis of adverse drug events. ADE Prevention Study Group. JAMIA 1995; 274:35-43. (4) Johnson N, Mant D, Jones L, Randall T. Use of computerised general practice data for population surveillance: comparative study of influenza data. BMJ. 1991: 302:763-5. (5) Hogan WR, Wagner, MM. Using belief networks to enhance sharing of medical knowledge between sites with variations in data accuracy. Proc. of AMIA Annu Fall Symp. Philadelphia: Hanley & Belfus, 1995, 218-22. (6) Hogan WR, Wagner, MM. Accuracy of data in computer-based patient records. JAMIA. 1997; 5:342355. (7) Brennan, Stead. Assessing data quality: from concordance, through correctness and completeness, to valid manipulatable representations. JAMIA Editorial Comments. 2000 Jan / Feb. 7(1). (8) Thiru, K, Hassey A, Sullivan F. Systematic review of scope and quality of electronic patient record data in primary care. BMJ 2003; 326: 1070-1075. 29 (9) Stauberg et al. Comparing paper-based with electronic patient records: lessons learned during a study on diagnosis and procedure codes. JAMIA. 2003; 10: 470-477. (10) Paul C. Tang et al. , Use of computer-based records, completeness of documentation, and appropriateness of documented clinical decisions; JAMIA; 1999; 6:245-251 (11) Charles R. Woods ; Impact of different definitions on estimates accuracy of the diagnosis data in a clinical database; Journal of Clinical Epidemiology 54(2001); 782-785 (12) Alan Hassey et al.; A survey of validity and utility of electronic patient records in a general practice; BJM, 2001 (13) Dominik Aronsky et al.; Assessing the Quality of Clinical Data in a Computer-based Record for Calculating the Pneumonia Severity Index; Journal of the American Informatics Association;2000 (14) Jürgen Stausberg et al.; Comparing Paper - Based with electronic patient records: lessons learned during a study on diagnosis and procedure codes, J Am Med Inform Assoc, 2003; 10:470477 (15) David B. Preen et al.; Hospital chart review provided more accurate comorbidity informatics than data from a general practitioner survey or an administrative database ; Journal of Clinical Epidemiology 57(2004); 1295-1304 (16) Charlton Wilson et al.; Patients with Diagnosed Diabetes Mellitus Can Be Accurately Identified in an Indian Health Service Patient Registration Database; Public Helth Reports; 2001 30 FIM Fátima Leal Seabra Fernando Leite Filipa Godinho Filipa Fernandes Filipa Moreira Filipa Aguiar Filipe André Pacheco Filipe Lima Santos Filipe Martins Filipe Soares Francisca Santos Carlos Aguiar 31