Faculdade de Medicina da Universidade do Porto
Introdução à Medicina
AVALIAÇÃO DA UTILIZAÇÃO DOS SISTEMAS
ELECTRÓNICOS DE RECOLHA DE
INFORMAÇÃO POR PARTE DOS MÉDICOS
Afonso, M.; Fernandes, M.; Ferreira, M.; Ferreira, M. F.; Morais, M.;
Neto, M.; Pintalhão, M.; Sousa, M.; Torres, M.
Regente da disciplina: Prof. Dr. Altamiro da Costa Pereira
Orientador: Dr. Ricardo Correia
2004/2005
Na primeira apresentação...
Objectivo:
- Revisão sistemática sobre o uso clínico dos sistemas de
recolha de informação por parte dos médicos (artigos entre 1998 e
2004)
Introdução:
- utilização crescente dos sistemas de recolha de informação
por parte dos médicos e/ou estudantes de medicina
- necessidade da avaliação destes sistemas
- breve esclarecimento do tema
Na primeira apresentação...
Métodos:
- combinação de termos MeSH
- definição dos critérios de inclusão dos artigos:
. Avaliação de sistemas de recolha de informação
. Resultados do uso destes por médicos
. Aplicação destes na resolução de situações clínicas
- selecção dos artigos pelo título (de acordo com os critérios
supracitados)
48 artigos seleccionados
O Que Fizemos Até Agora...
Revisão da selecção dos artigos
Procura do full-text dos artigos seleccionados
Leitura e análise dos artigos por 2 revisores
Apresentação e discussão dos resultados
Redacção do rascunho do artigo
Elaboração da página na Internet
Elaboração do artigo final
Revisão da selecção dos artigos
3 revisores alheios à primeira selecção
Nova selecção pelo título
Em caso de dúvida foi feita a leitura do abstract
Comparação dos resultados da pesquisa formal com os
resultados da revisão da selecção dos artigos:
Pesquisa
utilizada
Pesquisa dos
revisores
Número de artigos
seleccionados
30
29
Precisão
8,2 %
7,9 %
Relative recall
81,1 %
78,4 %
Tabela 1 – Resultados da revisão da selecção dos artigos
Revisão da selecção dos artigos
Pretendeu-se determinar a reprodutibilidade
do método
Permitiu
elaborar
uma
tabela
concordância (disponível na página da Web)
de
As medidas calculadas são semelhantes
nos dois casos
Exemplos De Títulos De Artigos
Seleccionados
TÍTULO
DECISÃO
«Medical Research. Finding The
Best Information.»
SELECCIONADO
«Tagging Gene and Protein
Names in Biomedical text»
NÃO SELECCIONADO
Tabela 2- Selecção pelo título (exemplos)
Procura do full-text dos artigos
seleccionados
MEDLINE (através da rede informática da Universidade do Porto)
Revistas disponíveis na biblioteca da FMUP e bibliotecas vizinhas
Contacto dos autores dos artigos por correio electrónico
Os 16 artigos não encontrados desta forma foram
excluídos
Leitura E Análise Dos Artigos Seleccionados
Por 2 Revisores
Executado por 2 elementos
Análise dos 32 artigos com base nos critérios:
1) Frequência de utilização dos sistemas electrónicos
de informação (por parte dos médicos ou estudantes de medicina);
2) Propósito da sua utilização;
3) Satisfação do utilizador;
Leitura e análise dos artigos seleccionados
por 2 revisores
4) Efectividade dos sistemas na pesquisa (dada por
- precisão e recall;
- factores inerentes ao utilizador;
- comparação entre pesquisa manual e electrónica;
- comparação entre diferentes bases de dados.
5) Razões do insucesso na pesquisa;
6) Aplicação/Impacto da evidência na prática clínica.
- Consideraram-se os artigos com pelo menos um destes critérios
- 23 obedeciam a este requisito e foram sujeitos a análise
RESULTADOS
E
DISCUSSÃO
Análise dos artigos
Tabela de análise
Tabela SPSS
Características dos Artigos
60
30
50
40
20
30
20
10
Percent
Percent
10
0
EUA
França
Canada
Holanda
Reino Unido
Australia
País
Gráfico 1- País de origem dos artigos (%)
0
1998
1999
2000
2001
2002
2003
2004
Ano de Publicação
Gráfico 2- Ano de publicação dos artigos (%)
Características dos Artigos
40
Percent
30
20
10
0
EE (*)
EC
R
tipo de estudo
Gráfico 3- Tipo de estudo (%)
ET
100
100
80
80
60
60
40
40
20
20
Percent
Percent
Características dos Artigos
0
Missing
Não
Sim
objectivo semelhante
Gráfico 4 – O objectivo do artigo é
semelhante ao nosso? (%)
0
Missing
Não
Sim
cumpre o objectivo inicial
Gráfico 5 – O artigo cumpre o seu
objectivo? (%)
1) Frequência De Utilização Dos
Sistemas Electrónicos De Informação
Assunto pouco abordado nos artigos (3)
Participantes/
Recursos
Web
MEDLINE
Fontes
literárias
45 estudantes de
medicina (10)
Média de 11,0
vezes por mês
Média de 2,4 vezes
por mês
Média de 7,1
vezes por mês
31 profissionais
de saúde (15)
142 instituições
de saúde (19)
Média de vezes:
6,7 no ano anterior
1,3 no mês anterior
0,3 na semana
antecedente
42 (30 %)
99 das que
não usavam
passariam a
usar no futuro
17 (40 %)
59 % das que usavam
recursos da NLM
pesquisavam
raramente
Tabela 3- frequência de utilização dos sistemas electrónicos de informação
1) Frequência De Utilização Dos
Sistemas Electrónicos De Informação
Não se podem tirar conclusões definitivas
Uso reduzido destes sistemas
Preferência da Web à MEDLINE e à literatura
1) Frequência De Utilização Dos
Sistemas Electrónicos De Informação
Propósito futuro de utilização mais frequente deste
sistemas
Frequência do uso é maior quando conhecidas as
vantagens dos sistemas
A pesquisa por meios electrónicos é mais frequente do
que por meios manuais
2) Propósito Da Sua Utilização
Artigo
Actualização do
conhecimento
Condução de
investigação
científica
Resposta a
questões
clínicas
Erickson et al (15)
X
X
X
JAMA (2)
X
Shen et al (17)
Langham et al (13)
Outros
X
X
X
X
Tabela 4 – Propósito do uso dos sistemas de recolha de informação
X
3) Satisfação Do Utilizador
Nº artigos incluídos : 3 (10) (30) (15)
Método mais utilizado: Questionnaire for User
Interface Satisfaction (QUIS) 5.0
- mede a satisfação do utilizador perante um sistema
computorizado
- escala de zero (fraco) a nove (excelente)
3) Satisfação Do Utilizador
Artigo
Hersh et
al (10)
Hersh et
al (30)
S
Erickson
&ER
Warner
(15)
N
45
estudantes
de medicina
+ 21 de
enfermagem
20
estudantes
de medicina
+ 9 de
enfermagem
31 internos
de
ginecologia
e obstetrícia
Objectivo
Comparar
os 2 grupos
de
estudantes
em relação
a várias
variáveis
Método
Resultado
QUIS
6,8
QUIS
Efeito de
uma sessão Escala de
de 1 hora
1 (muito
de treino em insatisfeito)
vários
a 5 (muito
factores
satisfeito)
Outras
conclusões
6,3
inexistência de
relação entre o
melhoramento da
pesquisa e
satisfação do
utilizador
3,9
inexistência de
diferenças
estatisticamente
significativas na
taxa de satisfação
entre os grupos
com e sem treino
Tabela 5 – Análise dos artigos incluídos no critério da satisfação do utilizador
3) Satisfação Do Utilizador
Média da taxa de satisfação = 7.5 (escala de
1-10)
Sistemas de recolha de informação
electrónicos trazem satisfação a quem os
utiliza
4) Efectividade Dos Sistemas Na
Pesquisa
Utilidade da Pesquisa
Acerca dos sistemas de recolha de
informação electrónicos é necessário
compreender até que ponto eles de facto
são úteis.
4) Efectividade Dos Sistemas Na
Pesquisa
Caracterização da eficiência das pesquisas por métodos quantitativos
e resposta a questões clínicas:
Princípio de que se parte → o número de artigos relevantes encontrados
numa pesquisa, bem como o tempo gasto na mesma, estão
relacionados com o sucesso na resposta a questões clínicas (14)
↓
recall e a precisão poderiam ser bons avaliadores da apetência destes
sistemas.
(relação de proporcionalidade inversa entre as duas medidas citadas)(9, 10)
4) Efectividade Dos Sistemas Na
Pesquisa
Outras estratégias no uso da MEDLINE no sentido de
refinar e adequar a pesquisa aos objectivos pretendidos (4)
↓
- termos MeSH;
- busca por text words;
- função explode;
- função truncation;
- os operadores Booleanos;
- os limites;
- os filtros metodológicos (função Clinical Queries)
(rejeitam artigos que não usem um dado método de investigação aplicando
uma combinação de termos MeSH e text words relacionados com o desenho de
estudo e metodologia).
4) Efectividade Dos Sistemas Na
Pesquisa
O recall obtido é baixo, considerando que praticamente
todos os valores são inferiores a 50%,
↓
sistemas electrónicos não estarão ainda preparados para
pôr ao dispor do utilizador a informação que têm
disponível
O recall aumenta quando mais que uma estratégia de
pesquisa é utilizada (3)
↓
é desejável a combinação de mais que uma estratégia (9)
4) Efectividade Dos Sistemas Na
Pesquisa
Importância dos sistemas de recolha de
informação electrónicos na resposta a
questões clínicas: (10, 30)
- melhoram a taxa de respostas correctas
- aumentam a capacidade do profissional de
saúde de resposta a questões clínicas para
além do seu conhecimento base
4) Efectividade Dos Sistemas Na
Pesquisa
Nova abordagem para a qualificação da eficiência das
pesquisas (22)
↓
relevância dos artigos
+
avaliação da qualidade dos resultados obtidos
- prestígio da revista em que foi publicado
- desenho de estudo
- tipo de publicação)
4) Efectividade Dos Sistemas Na
Pesquisa
Factores Inerentes ao utilizador
(6 artigos)
Treino e formação
Pesquisas em cooperação
(+)
(+)
Outros factores:
Demográficos (ex. Tipo de estudante) (+)
Factores cognitivos
(-)
Factores de personalidade
(-)
Experiência com computadores
(-)
Riqueza em vocabulário do utilizador (+)
4) Efectividade Dos Sistemas Na
Pesquisa
Pesquisa Manual / Pesquisa Electrónica
3 artigos: 25, 8, 29
4) Efectividade Dos Sistemas Na
Pesquisa
Figura 1- Artigo de Hopewell et all (25)
Figura 2- Artigo de Hopewell et all (25)
4) Efectividade Dos Sistemas Na
Pesquisa
Figura 3- Artigo de Suarez-Almazor et al (8)
4) Efectividade Dos Sistemas Na
Pesquisa
Diferenças entre o número de ensaios clínicos
randomizados identificados através da pesquisa
manual ou através da MEDLINE
Diferenças entre a sensibilidade obtida por cada um
dos métodos;
Melhores resultados quando utilizada a pesquisa
manual;
A pesquisa manual não deve ser o único método de
pesquisa;
4) Efectividade Dos Sistemas Na
Pesquisa
Conjugação dos dois métodos para uma pesquisa
mais completa e mais válida;
Não deixar de parte a pesquisa manual, pois apesar
de trabalhosa e dispendiosa existem ainda muitos
artigos que não estão indexados na MEDLINE ou
noutro tipo de bases de dados.
4) Efectividade Dos Sistemas Na
Pesquisa
Comparação entre diferentes bases de dados
Artigos citados: (26) (3) (19) (27)
Diferenças entre as bases de dados:
- número de revistas e referências citadas
- sistema de indexação
A utilidade da pesquisa depende da eficiência da base de dados
escolhida
4) Efectividade Dos Sistemas Na
Pesquisa
Estudo
(base(s) de dados)
Resultados das
pesquisas
(recall)
N.º total de
documentos
conhecidos
Tema(s) da
pesquisa
Gehanno et al (10)
Medline
Niosh-tic
Embase e Medline ou Toxline
Medline e Niosh-tic
Medline, Embase e Biosis
Medline, Toxline e Nioshtic
Medline, Embase, Toxline e Biosis
Medline, Toxline, Biosis e Nioshtic
63% (A)
11% (B)
86% (A)
42% (B)
96% (A)
72% (B)
99% (B)
83% (A)
Mesotelioma e abestos
(A)
Alergia ao látex (B)
N = 315
N = 462
Derry et al (19)
Medline
Embase
Medline e Embase
Em nenhuma delas
49%
40%
52%
48%
Efeitos adversos
medicamentos
de
N = 107
Suarez-Almazor et al (26)
Medline
Embase
Medline e Embase
77%
90%
99%
Dores
osteoporose
reumatóide
lombares,
e artrite
N = 243
Tabela 6 - comparação entre bases de dados
4) Efectividade Dos Sistemas Na
Pesquisa
Strain et al (27) compara sistemas on-line e em CD-rom:
 Sistemas on-line:
- MEDLINE → pesquisas são morosas; 1/3 dos artigos publicados não têm
registo
- Micromedex → mais fácil de usar e com mais informação do que a
MEDLINE; informação delineada, sumariada e referenciada; baixa precisão
Sistemas em CD-rom:
- Reactions → regista 7500 revistas, mas é lento
- AHF’s -→ não apresenta referências
- PDR → pesquisa incompleta
4) Efectividade Dos Sistemas Na
Pesquisa
Resultados da pesquisa na mesma base de
dados discrepantes
Eficiência da base de dados relacionada com o
tema da pesquisa
Devem escolher-se bases de dados
adaptadas ao assunto em estudo
5) Razões Do Insucesso Na Pesquisa
Causas
Artigos
Allison et al (9)
Má
elaboração
da questão
clínica
Ausência de
abstracts/
abstracts
estruturados
Base de
dados
inapropriada
X
X
Shen et al (17)
X
X
Robinson et al
(28)
Murphy et al
(29)
Desequilíbrio
entre recall e
precisão
Inadequação de
limites
X
X
X
X
X
Derry et al (19)
Strain et al (27)
Falta de
treino do
utilizador
X
Hersh et al (12)
Shaw et al (20)
Problemas
de
indexação/
Mesh
X
X
X
X
X
X
X
X
Tabela 7 - Causas do insucesso na pesquisa
X
5) Razões Do Insucesso Na Pesquisa
Problemas na construção de uma questão clínica bem
elaborada;
Treino inadequado do utilizador;
Base de dados inapropriada → Informação limitada nas
bases de dados (ex.: 1/3 dos artigos não está disponível
na Medline);
Problemas nas práticas de indexação (não indexação de
alguns artigos com termos adequados) → Problemas
no uso dos termos MeSH;
5) Razões Do Insucesso Na Pesquisa
Problema na capacidade de equilibrar recall e
precisão;
Problemas
pesquisa;
na
adequação
dos
limites
Ausência de abstract/abstracts estruturados.
à
6) Aplicação/Impacto Da Evidência Na
Prática Clínica
LIMITAÇÕES
a) Inerentes aos resultados
b) Inerentes à pesquisa
Ilustração provável da
qualidade de utilização de
sistemas electrónicos de
recolha de informação.
CONCLUSÕES
Baixa frequência de uso
É preferida a pesquisa na Web, em detrimento de bases de dados,
como a MEDLINE, ou pesquisa manual
Principal objectivo das pesquisas electrónicas – procura de
respostas a questões clínicas
Satisfação do utilizador elevada
Estratégias para a optimização das pesquisas:
- escolha de base de dados adaptada ao tema
- combinação de mais de uma base de dados
- combinação de estratégias de pesquisa (termos MeSH, lógica
Booleana…)
- apoio de pesquisa manual
- cooperação com bibliotecários
Treino e formação de profissionais  melhoria
do desempenho na utilização dos sistemas de
informação  maior capacidade de resposta a
questões clínicas
Causas do insucesso das pesquisas:
- Falta de MeSH específicos
- Estrutura de indexação incoerente
- Desequilíbrios entre recall e precisão
- Falta de informação no abstract
ELABORAÇÃO
DA
PÁGINA
NA
INTERNET