Faculdade de Medicina da Universidade do Porto
Serviço de Bioestatística e Informática Médica
Introdução à Medicina 2004/2005
Qualidade dos dados nos
Registos Clínicos Electrónicos
(RCE)
2ª apresentação
Regente: Professor Doutor Altamiro Pereira
Orientadora: Dr.ª Filipa Almeida
Autores: TURMA 7/ 1ºANO
Fátima Seabra; Fernando Leite; Filipa Godinho; Filipa Fernandes; Filipa Moreira; Filipa Bianchi
de Aguiar; Filipe Pacheco; Filipe Santos; Filipe Martins; Filipe Soares; Francisca Santos; Carlos
Aguiar
1
Introdução

Definição RCE

Evolução e importância dos RCE

Objectivos
2
Definição de RCE

Ficheiros criados por profissionais de saúde,
contendo dados pertinentes de carácter clínico
e administrativo;1

Dados informatizados, permitindo acesso
instantâneo e constante através de um terminal;1

Permite o armazenamento, consulta e partilha de
informação clínica; 2
_____________________________________________________________________________________
1 http://im.med.up.pt_RCE
2 The computer-based patient record. (1997)
3
Evolução e importância

De 1991/1997 houve um boom tecnológico 2;

Suporte na prestação de cuidados de saúde;
Ajuda na decisão clínica;
Avaliação da qualidade dos cuidados prestados;
Gestão e planeamento dos recursos de saúde;
Auxílio na investigação;
Apoio na educação médica. 1,2





é essencial a observação periódica
da qualidade dos dados:
correctness e completeness
6,7
_____________________________________________________________________________________
2 The computer-based patient record. (1997)
6 Hogan, WR, Wagner, MM. (1997)
7 Brennan, Stead. (2000)
4
Objectivos
Objectivo primário
 Avaliar os resultados encontrados em publicações
sobre a qualidade dos dados nos registos clínicos
electrónicos.
Objectivo secundário
 Revisão sistemática de estudos publicados sobre
o tema proposto, com avaliação da qualidade
metodológica dos mesmos.
5
Métodos
1. Identificação dos estudos
2. Selecção dos estudos
3. Avaliação dos estudos
4. Recolha de dados
5. Análise
6
1. Identificação dos estudos
• Publicações entre 1997 e 2005, indexadas na MEDLINE,
de artigos que relacionem a qualidade dos dados com
sistemas electrónicos de informação clínica.
"Medical Records Systems, Computerized“ [MeSH]
AND
(accuracy OR reliability OR completeness OR error OR quality)
NOT
("Internet"[MeSH] OR "Letter"[Publication Type] OR "MetaAnalysis"[Publication Type] OR "Editorial"[Publication Type] OR
"Review"[Publication Type])
• Limites:
entre 1997 e 2005
7
2. Selecção dos Estudos
1ª selecção: aplicação dos critérios de exclusão

Leitura de cada abstract por três revisores;

Exclusão dos artigos que falhavam pelo menos um dos critérios de
exclusão: 6
A: O Objecto de estudo é um RCE 2;
B: Está bem determinado o gold standard;
C: É abordada a Qualidade dos Dados;8

Para a exclusão foi exigida a concordância de dois revisores;

Em caso de dúvida o artigo não é excluído;
_____________________________________________________________________________________
2. The Computer-based Patient Record. (1997)
6. Hogan, WR, Wagner, MM. (1997)
8. Thiru K, Hassey A, Sullivan F (2003)
8
2. Selecção dos Estudos
2ª selecção: aplicação dos critérios de inclusão

Leitura de cada artigo por três revisores;

Inclusão dos artigos que obedecem integralmente aos seguintes critérios
de inclusão 8,9:
1) O tipo de dados em estudo é alfanumérico;
2) O RCE em estudo deve tratar mais do que uma variável;
3) A qualidade dos dados é definida pelos conceitos de correctness
e completeness, ou sinónimos;
4) O gold standard utilizado não pode ser questionários nem
estatísticas;
_____________________________________________________________________________________
8 Thiru K, Hassey A, Sullivan F (2003)
9 Stauberg et al. (2003)
9
3. Avaliação dos Estudos

Uma vez seleccionados os artigos, é necessário avaliá-los quanto à sua
qualidade metodológica;

Dois avaliadores classificam cada artigo segundo uma escala de 0 a 18
considerando vários parâmetros:
6
Descrição do RCE: métodos de recolha de dados (1); abrangência (1);
conteúdo geral dos dados (1); acessibilidade (1); registo oficial (1);
Metodologia; técnicas de amostragem não enviesadas (2);
ocultamento (4); gold standard próximo do verdadeiro estado do
paciente (4); gold standards eram outros registos (2); ambos os
conceitos de qualidade eram medidos claramente (2);
Objectivos do estudo; (1)
_________________________________
6 Hogan, WR, Wagner, MM. (1997)
Questionário 1
10
4. Recolha de dados

É recolhida a informação de cada artigo, com o
preenchimento de um questionário, no que respeita ao:



Artigo (objectivo de estudo, tipo de estudo, gold standard
utilizado, tempo de duração do estudo, alcance, amostra, etc.)
RCE em estudo (nome, programação, registo oficial, forma de
introdução de dados e seu conteúdo, acessibilidade,
completeness, correctness, etc.)
Os dados foram armazenados numa base de dados
SPSS 12.0
Questionário 2
11
5. Análise

Avaliados os artigos e recolhidos os seus dados mais relevantes, têm-se
em conta as divergências metodológicas e passa-se ao tratamento de
dados:

Análise
• da reprodutibilidade da primeira fase da selecção;
• da qualidade dos artigos (avaliação):

é introduzida e analisada na base de dados SPSS
• da recolha de informação:

sobre os artigos

sobre os RCE
NOTA: A análise estatística (metanálise) da informação sobre a qualidade
metodológica dos artigos e dos dados nos RCE:
Só pode ser executada se os estudos incluídos forem semelhantes, ou seja, se o
método utilizado, a qualidade metodológica e as conclusões (correctness e
completeness) forem homogéneas.
12
Resultados
Progressão do trabalho
1.500
1.400
1.300
1450
1370
1250
1.200
1.100
1.000
Nº de artigos

900
825
800
700
600
500
Dos
108
artigos
resultantes da 1ª fase de
selecção: aplicação de
critérios de exclusão,
apenas foram recolhidos
42 e como tal, só estes
foram submetidos à 2ª
fase de selecção.
400
300
200
108
106
100
7
0
"Medical
Exclusão de Exclusão de
Limite
1ª fase de
2ª fase de
Records
arigos
artigos Letter, temporal
selecção:
selecção:
System,
relacionados
Editorial,
[1997, 2005] aplicação de aplicação de
computerized com Internet Meta-analysis
critérios de critérios de
" [MeSH] AND
e Review
exclusão
inclusão
"data
accuracy"
Fases do trabalho
13
Gráfico 1 – progressão do trabalho
Resultados

Reprodutibilidade inter-revisor: 1ª selecção de exclusão
100,00
825
80,00
108
60,00
50,93
40,00
34,25
% de artigos incluídos
20,00
14,82
0,00
Incluídos com
unanimidade
Incluídos com 2
revisores
favoráveis
Incluídos com
dúvida
14
Gráfico 2 –reprodutibilidade inter-revisor
Resultados

Avaliação da qualidade metodológica dos artigos
Método de recolha (1 ponto)
Alcance/ abrangência (1
ponto)
Charlton Wilson et al.
Conteúdo de dados (1 ponto)
Acessibilidade (1ponto)
David B. Preen et al.
Registo oficial (1 ponto)
Amostragem não enviesada
(2 pontos)
Autores
Jürgen Stausberg et al.
Ocultamento ( 4 pontos)
Gold standard: aproximação
do verdadeiro estado do
paciente (4 pontos)
Dominik Aronsky et al.
Gold standard: outros (2
pontos)
Alan Hassey et al.
Correctness e completeness
medidos claramente (2
pontos)
Charles R. Woods
Objectivo primário:
determinação da qualidade
dos dados (1 ponto)
Paul C. Tang et al.
0
1
2
3
4
5
6
7
8
9
10 11 12 13 14 15 16 17 18
[0,4] – Medíocre
[5, 8] – Não Satisfaz
[9, 12] – Satisfaz
[13, 15] - Bom
[16, 17] – Muito Bom
[18] - Excelente
Classificação final
voltar
15
Gráfico 3 – avaliação
Resultados

Avaliação da qualidade metodológica dos artigos
Estatística
Classificação Final
Média
10,86
Mediana
12,00
Variância
4,810
Desvio Padrão
2,193
Mínimo
8
Máximo
14
Âmbito (Range)
6
Erro Padrão
,829
Tabela 1 – avaliação
voltar
16
Resultados

Tabela da recolha de informação relativa aos artigos.
Data de
publicação do
artigo
Objectivo
primário do
estudo
Ano do
início do
estudo
Tempo
de
estudoa
nb
Paul C. Tang et
al.
1999

1996
11

Aleatória
Registo clínico em papel
Charles R.
Woods
2001

1994
30
32634
Aleatória
Registo clínico em papel
Alan Hassey et
al.
2001

1994
72
13500

Dominik
Aronsky et al.
2000
Jürgen Stausberg
et al.
David B. Preen
et al.
Autores do
estudo
Tipo de amostragem
Gold-Standard
Registo clínico em papel
Não aleatória
Examinação/ observação
directa
do paciente
Entrevista
254
Aleatória
Registo clínico em papel

2037
Aleatória
Registo clínico em papel

465
Aleatória
Registo clínico em papel

1995
17
241
2003

2001
4
2004



Charlton Wilson
2001

et al.
A Número de registos que foram revistos
b Duração do estudo efectuado acerca dos RCE
 Objectivo primário do estudo não é o RCE
 Objectivo primário do estudo é o RCE
Desenho
de
estudo
Transver
sal
Tabela 2 – Artigos
voltar
17
Resultados

Tabela da recolha de informação relativa ao RCE.
Autores do
estudo
Paul C.
Tang et
al. 10
Nome do
RCE

Alcance do
RCE
Programa
de Base de
dados
Forma de
introdução de
dados
Acessibilidade
-

SPSS versão
7.0
Profissional de
saúde introduzia
directamente os
dados no RCE

-
Departamento
de Pediatria
do Reywol
Health Center
of Forsyth
Country,
North
Caroline

Fisher
Medical
Center
Registo
Oficial
Charles
R. Woods
11

Alan
Hassey et
al.12

Correctness/
completeness do
Conteúdo de dados
RCE
72,6 / 84,5 %
História clínica, exames
físicos, diagnóstico,
medicação/ tratamento
Microssoft
Access


90,0 / 86,0 %
História clínica, exames
complementares de
diagnóstico, diagnóstico,
medicação / tratamento,
factores de risco, vacinas,
serviços de prevenção

Profissional de
saúde ditava a
outra pessoa que
introduzia os
dados

96,0 / 87 %
Diagnóstico
Tabela 3- RCE
voltar
18
Dominik
Aronsky
et al.13
Jürgen
Stausber
g et al.14
David B.
Preen et
al.15
Charlton
Wilson
et al.16
Help (Health
Evaluation
through
Logical
Processing)
system

Departame
nto de
Emergênci
a do
Hospital
de Salt
Lake City
-
Departame
nto Geral
de Trauma
e Cirurgia
Vascular
-
Hospitais
ligados à
Western
Australian
Data
Linkage
System

Hospital
Morbidity
Data System
Record
RPMS
(Resource
and Patient
Management
System)
 - Registo não é oficial
 - Registo oficial
-
Phoenix
Indian
Medical
Center
PAL (PTXT
application)
e
TAL (Tanden
Application
Language)
Profissional de
saúde introduzia
directamente os
dados no RCE
Havia 24 terminais
de emergência, a
maioria presente
nos quartos dos
pacientes onde se
podia gravar e
aceder ao HELP
System
99,0 / 98,0 %
Demográficos, história
clínica, exames físicos,
exames
complementares de
diagnóstico, medicação
/ tratamento
Registo no próprio
departamento
O mecanismo
electrónico
desenvolvido
obtém
elevadas
medidas de
completeness
Demográficos, análises
clínicas, exames
complementares de
diagnóstico,
diagnósticos, relatórios
médicos
Perda da qualidade de
vida provocada pela
doença
Análises clínicas,
medicação/ tratamento,
relatórios médicos
Microssoft
Acess 2000
Profissional de
saúde introduzia
directamente os
dados no RCE
Hospital
Morbidity Data
System/Western
Australian Data
linkage system
Profissional de
saúde escrevia
directamente no
registo clínico em
papel e depois
outro indivíduo
introduzia os
dados no RCE

Os RCE
tinham menor
correctness e
completenees
em relação aos
registos
clínicos
hospitalares

Profissional de
saúde escrevia
directamente no
registo clínico em
papel e depois
outro indivíduo
introduzia os
dados no RCE

94,0 / 92,0 %
19
Resultados
Conteúdo dos dados
N
Demográficos
(+administrativos)
Percentagem
3
42,9%
Objectivo primário do estudo:
determinação da qualidade dos
dados
Gold
standard
História Clínica (exame físico,
factores de risco,
comorbilidade, prevenção)
6
85,7%
Exames complementares de
diagnóstico (+análises
clínicas)
4
57,1%
Diagnósticos
4
57,1%
4
57,1%
Medicação/tratamentos
(+complicações de
tratamentos, vacinas)
Entrevista / Examinação
/ Observação do
paciente
Registo clínico em papel
N
Percentagem
5
71,4%
1
14,3%
6
85,7%
Tabela 5 – objectivo e gold standard
Tabela 4 – conteúdo dados

Ignorando os dois artigos que classificavam qualitativamente a
correctness e completeness, temos que a média:
• Correctness: 90, 32%
• Completeness: 89,5 %
20
Discussão
Artigos (Objectivo Secundário)
Avaliação da qualidade metodológica: homogénea



Metodologia bastante homogénea em relação à qualidade:
•
média de Satisfaz (10,86 p.);
•
1 artigo obteve uma classificação Bom (14 p.),
•
e um Não Satisfaz (8 p.).
Parâmetros referidos em todos os estudos
•
método de recolha de dados
•
descrição do conteúdo dos dados do RCE;
Parâmetros que falham com maior insistência
•
gold standard que mais se aproxime do verdadeiro estado do paciente (2 artigo)
•
ocultamento (só presente em 2 artigos);
•
registo oficial só é observada em 2 artigos.
ver
21
Discussão
Artigos (Objectivo Secundário)
Recolha de informação: heterogeneidade de métodos

A importância dada às conclusões sobre correctness e completeness pode ter sido
influenciada:

71, 4 % dos artigos tinham como objectivo primário a determinação da qualidade dos
dados nos RCE. Os restantes consideravam este objectivo como secundário;

Várias características metodológicas eram díspares:

Tempo de estudo variou significativamente: de 4 a 72 meses;

Tamanho da amostra oscilou entre 241 e 32 634 registos clínicos individuais;

O gold standard utilizado só foi aquele mais próximo do verdadeiro estado do paciente em
14,3% dos casos;

No entanto, outras eram concordantes:

Desenho de estudo, era em todos os casos transversal; O método de amostragem em
apenas um é que não era aleatório.
ver
22
Discussão
Qualidade dos dados nos RCE (Objectivo Primário)
Recolha de informação: heterogeneidade de RCEs

Apenas 2 artigos se consideravam registos oficiais.

Forma de introdução de dados no RCE era diversa:
• 3 RCEs era por introdução directa,
• 2 RCEs primeiramente registados em papel e depois transferidos
para este.
• Num artigo eram ditados a outro profissional de saúde, que os
introduzia.
• 1 artigo não referia.
ver
23
Conteúdo dos dados não era constante:
• dados demográficos são os que menos estão presentes nos
RCEs (42,9%). No entanto, foi já um critério de exclusão;
• a história clínica estava presente em 85,7% dos artigos,
• tanto
os
exames
diagnósticos
e
a
complementares
de
diagnóstico,
medicação/tratamentos
os
encontravam-se
apenas em 57,1% dos artigos. Estes eram os mais relevantes no
apoio à decisão médica e para a avaliação da qualidade dos dados
nos RCE!
24
Conclusões

Objectivo secundário: A metodologia é de qualidade satisfatória e homogénea. No
entanto, a difere em muitos aspectos cruciais (tamanho da amostra, tempo do
estudo, gold standard, objectivo do estudo). Este factor é o que impossibilitou a
realização de uma metanálise.

Objectivo primário: a heterogeneidade verificou-se também nos RCE (registo
oficial, introdução dos dados, acessibilidade, conteúdos dos dados.) Este facto,
associado à disparidade de métodos (objectivo primário), leva-nos a duvidar da
sobrevalorização da avaliação da qualidade (Correctness: 90, 32% Completeness: 89,5 %).

Sugestões: em estudos futuros é importante ter em conta pontos como um gold
standard que mais se aproxime do verdadeiro estado do paciente, a relevância dada ao registo,
que deve ser oficial, assim como o ocultamento, para assegurar a validade dos resultados.
Também a acessibilidade, o método de introdução de dados e o conteúdos destes são essenciais
para a validade da conclusão.
25
Distribuição de tarefas
PARTE DO TRABALHO
RESPONSÁVEIS
Introdução
Francisca Santos, Filipa Godinho, Filipe Martins
Métodos/representante
Filipa Aguiar
Pesquisa na Internet;
Filipa Moreira, Filipa Fernandes, Filipa Aguiar
Procura dos artigos integrais
Filipa Moreira, Filipa Fernandes
1ª selecção / 2ª selecção
Grupo 1:
Filipa Moreira,
Filipa Fernandes,
Filipa Aguiar
Avaliação dos estudos
/Recolha de dados
Carlos Aguiar/Filipe Soares, Francisca Santos/Filipa Godinho, Filipa Aguiar/Filipe
Martins, Filipe Santos/Fernando, Filipe Pacheco/Fátima Seabra, Filipa Fernandes/ Filipa
Moreira
reprodutibilidade da
1ªselecção
Filipe Pacheco
SPSS
Fátima Seabra, Filipa Fernandes, Filipe Soares
Discussão/Conclusões
Filipa Godinho, Filipe Martins, Francisca Santos, Filipa Moreira
Primeira apresentação
Filipe Santos, Filipa Aguiar
Segunda apresentação
Fátima Seabra, Filipa Aguiar
Tabelas e Questionários para
preenchimento em cada fase
Filipe Santos, Filipa Aguiar, Fátima Seabra, Filipa Godinho
Página Web
Filipe Pacheco, Carlos Aguiar
Grupo2:
Fernando Leite,
Filipe Santos, Filipe
Soares
Grupo 3:
Carlos Aguiar,
Fátima Seabra,
Filipe Pacheco
Grupo 4:
Filipe Martins,
Francisca Santos,
Filipa Godinho
26
Bibliografia

(1) Curso de Informática Médica: Registos Clínicos Electrónicos. [página na Internet] SBIM (2002).
Acesso em http://im.med.up.pt_RCE

(2) The computer-based patient record: An essencial technology for health care. Committee on
improving the patient record, Institute of Medicine. National Academic Press. Washington; 1997.

(3) Leape LL, Bates DW, Cullen DJ, et al. Systems analysis of adverse drug events. ADE Prevention
Study Group. JAMIA 1995; 274:35-43.

(4) Johnson N, Mant D, Jones L, Randall T. Use of computerised general practice data for population
surveillance: comparative study of influenza data. BMJ. 1991: 302:763-5.

(5) Hogan WR, Wagner, MM. Using belief networks to enhance sharing of medical knowledge between
sites with variations in data accuracy. Proc. of AMIA Annu Fall Symp. Philadelphia: Hanley & Belfus,
1995, 218-22.

(6) Hogan WR, Wagner, MM. Accuracy of data in computer-based patient records. JAMIA. 1997; 5:342355.

(7) Brennan, Stead. Assessing data quality: from concordance, through correctness and completeness,
to valid manipulatable representations. JAMIA Editorial Comments. 2000 Jan / Feb. 7(1).

(8) Thiru, K, Hassey A, Sullivan F. Systematic review of scope and quality of electronic patient record
data in primary care. BMJ 2003; 326: 1070-1075.
27

(9) Stauberg et al. Comparing paper-based with electronic patient records: lessons learned during
a study on diagnosis and procedure codes. JAMIA. 2003; 10: 470-477.

(10) Paul C. Tang et al. , Use of computer-based records, completeness of documentation, and
appropriateness of documented clinical decisions; JAMIA; 1999; 6:245-251

(11) Charles R. Woods ; Impact of different definitions on estimates accuracy of the diagnosis data
in a clinical database; Journal of Clinical Epidemiology 54(2001); 782-785

(12) Alan Hassey et al.; A survey of validity and utility of electronic patient records in a general
practice; BJM, 2001

(13) Dominik Aronsky et al.; Assessing the Quality of Clinical Data in a Computer-based Record
for Calculating the Pneumonia Severity Index; Journal of the American Informatics
Association;2000

(14) Jürgen Stausberg et al.; Comparing Paper - Based with electronic patient records: lessons
learned during a study on diagnosis and procedure codes, J Am Med Inform Assoc, 2003; 10:470477

(15) David B. Preen et al.; Hospital chart review provided more accurate comorbidity informatics
than data from a general practitioner survey or an administrative database ; Journal of Clinical
Epidemiology 57(2004); 1295-1304

(16) Charlton Wilson et al.; Patients with Diagnosed Diabetes Mellitus Can Be Accurately
Identified in an Indian Health Service Patient Registration Database; Public Helth Reports; 2001
28
FIM
Fátima Leal Seabra
Fernando Leite
Filipa Godinho
Filipa Fernandes
Filipa Moreira
Filipa Aguiar
Filipe André Pacheco
Filipe Lima Santos
Filipe Martins
Filipe Soares
Francisca Santos
Carlos Aguiar
29