Faculdade de Medicina da Universidade do Porto
Serviço de Bioestatística e Informática Médica
Introdução à Medicina 2004/2005
Qualidade dos dados nos
Registos Clínicos Electrónicos
(RCE)
3ª apresentação
Regente: Professor Doutor Altamiro Pereira
Orientadora: Dr.ª Filipa Almeida
Autores: TURMA 7/ 1ºANO
Fátima Seabra; Fernando Leite; Filipa Godinho; Filipa Fernandes; Filipa Moreira; Filipa Bianchi
de Aguiar; Filipe Pacheco; Filipe Santos; Filipe Martins; Filipe Soares; Francisca Santos; Carlos
Aguiar
1
Introdução

Definição RCE

Evolução e importância dos RCE

Objectivos
3
Definição de RCE

Base de dados institucional de ficheiros criados por
profissionais de saúde, contendo dados pertinentes de
carácter clínico e administrativo;1

Dados informatizados, permitindo acesso instantâneo e
constante através de um terminal;1

Permite o armazenamento, consulta e partilha de informação
clínica; 2
_____________________________________________________________________________________
1 http://im.med.up.pt_RCE
2 The computer-based patient record. (1997)
4
Evolução e importância

De 1991/1997 houve um boom tecnológico 2;

Suporte na prestação de cuidados de saúde e na
decisão clínica;

Avaliação da qualidade dos cuidados prestados;

Gestão e planeamento dos recursos de saúde;

Auxílio na investigação e apoio na educação
médica. 1,2
_____________________________________________________________________________________
2 The computer-based patient record. (1997)
6 Hogan, WR, Wagner, MM. (1997)
7 Brennan, Stead. (2000)
5
é essencial a observação periódica
da qualidade dos dados:
correctness e completeness
6,7
 Correctness: proporção de observações contidas nos RCEs
que traduzem o verdadeiro estado do paciente, é portanto uma
avaliação da veracidade dos dados – valor preditivo positivo;
 Completeness: proporção de observações acerca do paciente
que estão realmente registadas no RCE – sensibilidade;
6
Objectivos
Objectivo primário - Analisar os resultados
encontrados em publicações sobre a qualidade
dos dados nos RCE;
Objectivo secundário - Avaliar a qualidade
metodológica das publicações seleccionadas.
7
Métodos
1. Identificação dos estudos
2. Selecção dos estudos
3. Avaliação dos estudos
4. Recolha de dados
5. Análise
8
1. Identificação dos estudos
• Publicações entre 1997 e 2005, indexadas na MEDLINE,
de artigos que relacionem a qualidade dos dados com
sistemas electrónicos de informação clínica.
"Medical Records Systems, Computerized“ [MeSH]
AND
(accuracy OR reliability OR completeness OR error OR quality)
NOT
("Internet"[MeSH] OR "Letter"[Publication Type] OR "MetaAnalysis"[Publication Type] OR "Editorial"[Publication Type] OR
"Review"[Publication Type])
• Limites:
entre 1997 e 2005
9
2. Selecção dos Estudos
1ª selecção: aplicação dos critérios de exclusão

Leitura de cada abstract por três revisores;

Exclusão dos artigos que cumpriam pelo menos um dos critérios de
exclusão: 6
A: O Objecto de estudo não é um RCE 2;
B: Não está bem determinado o gold standard;
C: Não é abordada a Qualidade dos Dados;8

Para a exclusão foi exigida a concordância de dois revisores;

Em caso de dúvida o artigo não é excluído;
_____________________________________________________________________________________
2. The Computer-based Patient Record. (1997)
6. Hogan, WR, Wagner, MM. (1997)
8. Thiru K, Hassey A, Sullivan F (2003)
10
2. Selecção dos Estudos
2ª selecção: aplicação dos critérios de inclusão

Leitura de cada artigo por três revisores;

Inclusão dos artigos que obedecem integralmente aos seguintes critérios
de inclusão 8,9:
1) O tipo de dados em estudo é alfanumérico;
2) O RCE em estudo deve tratar mais do que uma variável;
3) A qualidade dos dados é definida pelos conceitos de correctness
e completeness, ou sinónimos;
4) O gold standard utilizado não pode ser questionários nem
estatísticas;
_____________________________________________________________________________________
8 Thiru K, Hassey A, Sullivan F (2003)
9 Stauberg et al. (2003)
11
3. Avaliação dos Estudos

Uma vez seleccionados os artigos, é necessário avaliá-los quanto à sua
qualidade metodológica;

Dois avaliadores classificam cada artigo segundo uma escala de 0 a 18
considerando vários parâmetros:
6
Descrição do RCE: métodos de recolha de dados (1); abrangência (1);
conteúdo geral dos dados (1); acessibilidade (1); registo oficial (1);
Metodologia; técnicas de amostragem não enviesadas (2);
ocultamento (4); gold standard próximo do verdadeiro estado do
paciente (4); gold standards eram outros registos (2); ambos os
conceitos de qualidade eram medidos claramente (2);
Objectivos do estudo; (1)
_________________________________
6 Hogan, WR, Wagner, MM. (1997)
Protocolo 1
12
4. Recolha de dados

É recolhida a informação de cada artigo, com o
preenchimento de um protocolo de estudo, no que
respeita ao:



Artigo (objectivo de estudo, tipo de estudo, gold standard
utilizado, tempo de duração do estudo, alcance, amostra, etc.)
RCE em estudo (nome, programação, registo oficial, forma de
introdução de dados e seu conteúdo, acessibilidade,
completeness, correctness, etc.)
Os dados foram armazenados numa base de dados
SPSS 12.0
Protocolo 2
13
5. Análise

Avaliados os artigos e recolhidos os seus dados mais relevantes, têm-se
em conta as divergências metodológicas e passa-se ao tratamento de
dados:

Análise
• da reprodutibilidade da primeira fase da selecção;
• da qualidade dos artigos (avaliação):

é introduzida e analisada na base de dados SPSS
• da recolha de informação:

sobre os artigos

sobre os RCE
NOTA: A análise estatística (metanálise) da qualidade metodológica dos
artigos e dos dados nos RCE:
Só pode ser executada se o método utilizado, a qualidade metodológica e as
conclusões (correctness e completeness) forem homogéneas.
14
Resultados
Progressão do trabalho
1.500
1.400
1.300
1450
1370
1250
1.200
1.100
1.000
Nº de artigos

900
825
800
700
600
500
Dos
108
artigos
resultantes da 1ª fase de
selecção: aplicação de
critérios de exclusão,
apenas foram recolhidos
42 e como tal, só estes
foram submetidos à 2ª
fase de selecção.
400
300
200
108
106
100
7
0
"Medical
Exclusão de Exclusão de
Limite
1ª fase de
2ª fase de
Records
arigos
artigos Letter, temporal
selecção:
selecção:
System,
relacionados
Editorial,
[1997, 2005] aplicação de aplicação de
computerized com Internet Meta-analysis
critérios de critérios de
" [MeSH] AND
e Review
exclusão
inclusão
"data
accuracy"
Fases do trabalho
15
Gráfico 1 – progressão do trabalho
Resultados

Reprodutibilidade inter-revisor: 1ª selecção de exclusão
100,00
825
80,00
108
60,00
50,93
40,00
34,25
% de artigos incluídos
20,00
14,82
0,00
Incluídos com
unanimidade
Incluídos com 2
revisores
favoráveis
Incluídos com
dúvida
16
Gráfico 2 –reprodutibilidade inter-revisor
Resultados

Avaliação da qualidade metodológica dos artigos
[0,4] – Medíocre
[5, 8] – Não Satisfaz
[9, 12] – Satisfaz
[13, 15] - Bom
[16, 17] – Muito Bom
[18] - Excelente
voltar
17
Gráfico 3 – avaliação
Resultados

Avaliação da qualidade metodológica dos artigos
Estatística
Classificação Final
Média
11,86
Desvio Padrão
2,12
Mínimo
9
Máximo
14
Tabela 1 – avaliação
voltar
18
Resultados

Tabela da recolha de informação relativa aos artigos.
Data de
publicação do
artigo
Objectivo
primário do
estudo
Ano do
início do
estudo
Tempo
de
estudoa
nb
Paul C. Tang et
al. 10
1999

1996
11
Charles R.
Woods 11
2001

1994
Alan Hassey et
al. 12
2001

1994
Dominik
Aronsky et al. 13
2000
Jürgen Stausberg
et al. 9
Autores do
estudo
Desenho de
estudo
Tipo de
amostragem
Gold-Standard

Aleatória
Registo clínico em papel
30
317
Aleatória
Registo clínico em papel
72


Registo clínico em papel

1995
17
241
Não aleatória
Examinação/ observação
directa
do paciente
Entrevista
2003

2001
4
254
Aleatória
Registo clínico em papel
David B. Preen et
al. 14
2004



413
Aleatória
Registo clínico em papel
Charlton Wilson
et al. 15
2001



465
Aleatória
Registo clínico em papel
A Número
de registos que foram revistos
Duração do estudo efectuado acerca dos RCE
 Objectivo primário do estudo não é o RCE
 Objectivo primário do estudo é o RCE
Transversal
Tabela 2 – Artigos
b
voltar
19
Resultados

Tabela da recolha de informação relativa aos RCE
Paul C. Tang
et al. 10

Nome RCE
Registo Oficial
-
Alan Hassey et
al.12
Dominik Aronsky et al.13
Jürgen Stausberg et
al.14
David B. Preen et
al.15
Charlton Wilson et
al.16


Help (Health Evaluation
through Logical
Processing) system

Hospital Morbidity
Data System
Record
RPMS (Resource
and Patient
Management
System)
-


-
-
-
Charles R.
Woods 11
Alcance do RCE

Departamento
de Pediatria
do Reywol
Health Center
of Forsyth
Country,
North
Caroline
North Caroline.
Fisher Medical
Center
Departamento de
Emergência do Hospital
de Salt Lake City
Departamento
Geral de Trauma e
Cirurgia Vascular
Hospitais ligados à
Western Australian
Data Linkage
System
Phoenix Indian
Medical Center
Programa de
Base de dados
SPSS versão 7.0
Microssoft
Access

PAL (PTXT application)
e
TAL (Tanden
Application Language)
Microssoft Acess
2000
Hospital Morbidity
Data
System/Western
Australian Data
linkage system

Forma de
introdução de
dados
Int.D

Ditado
Int.D
Int.D
RCP/RC
RCP/RCE
Acessibilidade



24 terminais de
emergência, a maioria
presente nos quartos dos
pacientes
Registo no próprio
departamento


Int.D.- Introdução directa pelo profissional de saúde
Ditado- O profissional de saúde ditava a quem introduzia
RCP/RCE- Introdução em RCP e transferência para RCE
20
Paul C. Tang et
al.
Correctness/
completeness do
RCE
Conteúdo de
dados
72,6/91,8%
Medicação
História clínica
Diagnóstico
Charles R.
Woods 11
89,5/ 72,6%
História clínica
[factores de
risco], exames
complementares
de diagnóstico,
diagnóstico,
medicação.
Alan Hassey
et al.12
Dominik Aronsky et
al.13
Jürgen Stausberg
et al.14
David B. Preen
et al.15
Charlton
Wilson et al.16
96,0 / 87,0%
88,9/87,3 %
Elevada
completeness
Baixa
completeness e
correctness
92,0 / 60,3 %
Diagnósticos
História clínica
Demográficos [Idade,sexo];
Medicação; História
clínica;
Demográficos,
análises clínicas
exames
complementares de
diagnóstico,
diagnósticos,
relatórios médicos.
Exames físicos:[heart rate,
respiratory rate, pressão
sanguínea sistólica;
Temperatura], Exames
Administrativos
História clínica
[Registo de
nascimento,Óbitos,
eleitorais]
[relatórios médicos,
resultados
laboratoriais,
relatóriosradiológic
os, exames físicos]
História clínica
[comorbilidade]
Medicação
complementares
diagnóstico: [saturação
sanguínea, estado mental,
concentração de ureia no
sangue,sódio, glicose, hemato
crit, pH arterial]
Diagnóstico: [derrame
pleural]
Dados avaliados
Medicação(a)
História clínica(b)
Diagnóstico(c )
Só avaliam
completeness
Diagnóstico
Diagnóstico
Medicação(e); História
clínica(f);
Diagnóstico
História Clínica
Medicação(s)
Diagnóstico
(hiperglicemia)(t)
Elevado
completeness
Baixa
completeness e
correctness.
(s) 95%/59%
(t) 89%/26%
Exames físicos:[heart rate
(g), respiratory rate (g),
pressão sanguínea sistólica (i),
Temperatura (j)], Exames
complementares
diagnóstico: [saturação
sanguínea (k), estado mental
(l), concentração de ureia no
sangue (m) ,sódio (n),glicose
(o), hemato crit (p),pH arterial
(q)] Diagnóstico: [derrame
pleural (r)]
Correctness/com
pleteness de
cada categoria
de dados
(a)87.5%
(b) 98.5%
(c ) 72.6/ 89.5%
89.5% / 72.6 %
96,0 / 87 %
(e) (97.3%), (f) (99.8%),(g)
(98.7%), (h) (99.6%),(i)
(98.2.%), (j)(98.7%),(k)
(89.8%), (l) (83.6%),(m)
(93.8%), (n) (96.5%)(o)
(93.8%), (p) (96.0%)(q)
(62.8%), (r ) (13.7%)
21
Tabela 3- RCE
Resultados
Categoria de Dados
artigos que avaliaram
qualitativa ou
quantitativamente a
categoria n(%)
História clínica
3 (42,9%)
Exames físicos (heart rate13, respiratory rate13,
pressão sanguínea sistólica13, temperatura13)
1 (14,3%)
Diagnóstico (hiperglicemia16, derrame
pleura13, etc)
6 (85,7%)
Exames complementares (saturação
sanguínea13; estado mental13, concentração de
ureia no sangue13, sódio13, glicose13, hemato
crit13, pH arterial13)
1 (14,3%)
Medicação /Tratamento
3 (42,9%)
avaliação quantitativa da qualidade
dos dados
correctness
completeness
n
média
n
média
0
-
2
99,2%
0
-
1
98,8%
4
86,8%
5
63,0%
0
-
1
88,0%
1
95,0%
3
84,4%
Tabela 4: Categorias de dados avaliadas e respectivas classificações de qualidade

Ignorando os dois artigos que classificavam qualitativamente
Correctness: 90, 9%;
Completeness: 87,8 %
22
Discussão
Artigos (Objectivo Secundário)
Avaliação da qualidade metodológica: homogénea?

homogeneidade na classificação
• classificação final com um desvio padrão reduzido (2,1 p.);
• valor médio positivo - classificação qualitativa global de Satisfaz (11,86 p.)

apenas dois parâmetros estão em todos os artigos
• método de recolha de dados,
• descrição do conteúdo dos dados do RCE,

parâmetros falham com muita insistência
•
•
•
•
gold standard que mais se aproxime do verdadeiro estado do paciente (n=1);
ocultamento (n=4);
acessibilidade (n=2);
registo oficial (n=2).
ver
23
Discussão
Artigos (Objectivo Secundário)
Recolha de informação: heterogeneidade de métodos

características metodológicas semelhantes:




desenho de estudo – transversal;
tipo de amostragem – aleatória (excepto num);
tamanho da amostra – entre 241 e 465 registos clínicos individuais
características díspares:


.
tempo de estudo – entre 4 a 72 meses;
gold standard
• mais próximo do verdadeiro estado do paciente (n=1);
• RCP na maioria dos casos (n=6)

objectivo primário nem sempre era a avaliação da qualidade (n=5)
A metanálise não foi realizada
ver
24
Discussão
Qualidade dos dados nos RCE (Objectivo Primário)
Recolha de informação: heterogeneidade de RCEs

2 artigos tinham RCE oficiais
 forma de introdução dos dados era diversa:




Categorias dos dados avaliados: exames físicos, exames complementares de
diagnóstico, medicação, história clínica e diagnóstico




introdução directa (n=3),
registo primeiramente em papel e posteriormente transferidos (n=2)
ditados a outro profissional de saúde que os introduzia (n=1)
1 estudo abordou todas as categorias,
4 artigos avaliam apenas uma categoria.
diagnóstico não constava num artigo
Os valores de Correctness e Completeness nem sempre eram ambos
calculados para as categorias em análise
ver
25
Discussão
Análise individual dos artigos

gold standard todos RCP




9, 10,11,12,15,16
diferem substancialmente na estrutura da informação contida;
nos estudos não foi dada importância à sua descrição e avaliação;
grande dependência do RCE relativamente ao RCP
11,12,15

transferência de dados a partir do RCP;

eram construídos com vista à substituição dos RCP;
objectividade na avaliação


existência de parâmetros de comparação mesmo no texto livre;
9,11,12,15
codificação dos dados.
9,10
26
Conclusões

A metodologia dos estudos é satisfatória embora exista alguma divergência:
tempo de estudo, gold standard adoptado, objectivo de estudo, quantidade de
dados avaliada. Este facto impossibilitou a realização de uma metanálise.

Nos RCE há heterogeneidade: métodos de introdução dos dados,
acessibilidade ao sistema, conteúdo dos dados e ao facto do registo ser ou
não oficial.

Assim, pela disparidade de métodos constatada pode duvidar-se da
sobrevalorização da qualidade dos dados (Correctness: 90,9%;
Completeness: 87,8%).

Sugestões – em estudos futuros, para assegurar a validade dos resultados é
aconselhável:




atribuir maior importância ao gold standard, para que o mesmo se aproxime cada vez mais do
verdadeiro estado do paciente;
que o registo seja oficial;
que exista ocultamento;
ter em consideração a acessibilidade, o método de introdução de dados e o conteúdo destes
27
Distribuição de tarefas
PARTE DO TRABALHO
RESPONSÁVEIS
Introdução
Francisca Santos, Filipa Godinho, Filipe Martins
Métodos/representante
Filipa Aguiar
Pesquisa na Internet;
Filipa Moreira, Filipa Fernandes, Filipa Aguiar
Procura dos artigos integrais
Filipa Moreira, Filipa Fernandes
1ª selecção / 2ª selecção
Grupo 1:
Filipa Moreira,
Filipa Fernandes,
Filipa Aguiar
Avaliação dos estudos
/Recolha de dados
Carlos Aguiar/Filipe Soares, Francisca Santos/Filipa Godinho, Filipa Aguiar/Filipe
Martins, Filipe Santos/Fernando, Filipe Pacheco/Fátima Seabra, Filipa Fernandes/ Filipa
Moreira
reprodutibilidade da
1ªselecção
Filipe Pacheco
SPSS
Fátima Seabra, Filipa Fernandes, Filipe Soares
Discussão/Conclusões
Filipa Godinho, Filipe Martins, Francisca Santos, Filipa Moreira
Primeira apresentação
Filipe Santos, Filipa Aguiar
Segunda apresentação
Fátima Seabra, Filipa Aguiar
Terceira apresentação
Fátima Seabra, Filipa Aguiar
Tabelas e Questionários para
preenchimento em cada fase
Filipe Santos, Filipa Aguiar, Fátima Seabra, Filipa Godinho
Página Web
Filipe Pacheco, Carlos Aguiar
Grupo2:
Fernando Leite,
Filipe Santos, Filipe
Soares
Grupo 3:
Carlos Aguiar,
Fátima Seabra,
Filipe Pacheco
Grupo 4:
Filipe Martins,
Francisca Santos,
Filipa Godinho
28
Bibliografia

(1) Curso de Informática Médica: Registos Clínicos Electrónicos. [página na Internet] SBIM (2002).
Acesso em http://im.med.up.pt_RCE

(2) The computer-based patient record: An essencial technology for health care. Committee on
improving the patient record, Institute of Medicine. National Academic Press. Washington; 1997.

(3) Leape LL, Bates DW, Cullen DJ, et al. Systems analysis of adverse drug events. ADE Prevention
Study Group. JAMIA 1995; 274:35-43.

(4) Johnson N, Mant D, Jones L, Randall T. Use of computerised general practice data for population
surveillance: comparative study of influenza data. BMJ. 1991: 302:763-5.

(5) Hogan WR, Wagner, MM. Using belief networks to enhance sharing of medical knowledge between
sites with variations in data accuracy. Proc. of AMIA Annu Fall Symp. Philadelphia: Hanley & Belfus,
1995, 218-22.

(6) Hogan WR, Wagner, MM. Accuracy of data in computer-based patient records. JAMIA. 1997; 5:342355.

(7) Brennan, Stead. Assessing data quality: from concordance, through correctness and completeness,
to valid manipulatable representations. JAMIA Editorial Comments. 2000 Jan / Feb. 7(1).

(8) Thiru, K, Hassey A, Sullivan F. Systematic review of scope and quality of electronic patient record
data in primary care. BMJ 2003; 326: 1070-1075.
29

(9) Stauberg et al. Comparing paper-based with electronic patient records: lessons learned during
a study on diagnosis and procedure codes. JAMIA. 2003; 10: 470-477.

(10) Paul C. Tang et al. , Use of computer-based records, completeness of documentation, and
appropriateness of documented clinical decisions; JAMIA; 1999; 6:245-251

(11) Charles R. Woods ; Impact of different definitions on estimates accuracy of the diagnosis data
in a clinical database; Journal of Clinical Epidemiology 54(2001); 782-785

(12) Alan Hassey et al.; A survey of validity and utility of electronic patient records in a general
practice; BJM, 2001

(13) Dominik Aronsky et al.; Assessing the Quality of Clinical Data in a Computer-based Record
for Calculating the Pneumonia Severity Index; Journal of the American Informatics
Association;2000

(14) Jürgen Stausberg et al.; Comparing Paper - Based with electronic patient records: lessons
learned during a study on diagnosis and procedure codes, J Am Med Inform Assoc, 2003; 10:470477

(15) David B. Preen et al.; Hospital chart review provided more accurate comorbidity informatics
than data from a general practitioner survey or an administrative database ; Journal of Clinical
Epidemiology 57(2004); 1295-1304

(16) Charlton Wilson et al.; Patients with Diagnosed Diabetes Mellitus Can Be Accurately
Identified in an Indian Health Service Patient Registration Database; Public Helth Reports; 2001
30
FIM
Fátima Leal Seabra
Fernando Leite
Filipa Godinho
Filipa Fernandes
Filipa Moreira
Filipa Aguiar
Filipe André Pacheco
Filipe Lima Santos
Filipe Martins
Filipe Soares
Francisca Santos
Carlos Aguiar
31