Como fazer uma crítica
apreciativa de um estudo
Nikolaos P. Polyzos M.D. PhD
The material was supported by an educational grant from Ferring
Objetivos de aprendizagem
• Ao final desta apresentação você
perceberá que não deve aceitar a
conclusão de nenhum trabalho sem
questionar.
• Esta apresentação vai fornecer orientações
de como você se deve questionar as
conclusões dos trabalhos.
Ensaio: Por que a Maioria das Descobertas
Publicadas são Falsas - John P.A. Ioannidis
Uma descoberta de uma pesquisa é menos
provável de ser verdadeira quando:
• Os estudos conduzidos num campo são menores
• O tamanho dos efeitos são menores
• Há maior flexibilidade nos desenhos, definições,
resultados e modos analíticos
• Há um interesse financeiro maior e outro interesse e
preconceito
Ioannidis JP, Plos Med 2005
• Por que você deve questionar os resultados
em todos os trabalhos
• Como você deve questionar os resultados
Por que você deve questionar os
resultados em todos os trabalhos
Os artigos mais citados nem SEMPRE estão
dizendo a verdade
Artigos mais citados nem SEMPRE estão
dizendo a verdade
• Descobertas iniciais…podem se provar erradas no
futuro
• Estudos altamente citados (>1000 citações) com
alegação de eficácia
– 16% foram contraditos por pesquisas posteriores
– 16% descobriu-se ter fortes efeitos iniciais
– 44% foram replicados também com uma amostra maior em
pesquisa subsequente comparado com o estudo original
altamente citado)
– 24% permaneceram amplamente incontestados
Ioannidis JP, JAMA 2005
Por que você deve questionar os resultados em
todos os trabalhos
Fabricação de dados pode ocorrer mesmo
em periódicos altamente conceituados
Fabricação de dados pode ocorrer mesmo
em periódicos altamente conceituados
Caso Sudbø (Lancet)
Entre 908 pacientes no
estudo 250 tinham a
mesma data de aniversário
Por que você deve questionar os
resultados em todos os trabalhos
Ensaios de baixa qualidade de randomização
podem mostrar efeito de tratamento
aumentados
Ensaios de baixa qualidade de randomização
podem mostrar efeito de tratamento inflado
• Gravidez Cochrane e Base e Dados de
Nascimentos
– 250 ensaios controlados de 33 meta-análise
• Maior efeito aparente de tratamento nos
estudos de qualidade mais pobre
– Questões de randomização
• Possibilidade de Índices exagerados em até 41%
– Cegamento inadequado
• Possibilidade de Índices exagerados em 17%
Schulz. JAMA 1995; 273 (5): 408–412
Ensaios de baixa qualidade mostraram efeitos de tratamento
que não foram confirmados por estudos de alta qualidade
LOTE DE META-ANÁLISE PARA NASCIMENTO PREMATURO <37 SEMANAS DE GESTAÇÃO
Study or subgroup
Low quality trails
Subtotal (95% CI)
Treatment
Events/toal
No treatment
Events/total
weight
(%)
Odds ratio
(M-H, fixed)
(95% CI)
114/996
147/725
35.2
0.52 (0.38 to 0.72)
250/2303
219/2290
64.8
1.15 (0.95 to 1.40)
364/3299
366/3015
100
0.93 (0.79 to 1.10)
Odds ratio
(M-H, fixed)
(95% CI)
Test for heterogeneity:
χ2 = 4.95, df = 5, P = 0.42, I2 = 0%
Test for overall effect:
z = 4.01, P<0.001
High quality trials
Subtotal (95% CI)
Test for heterogeneity:
χ2 = 4.02, df = 4, P = 0.40, I2 = 1%
Test for overall effect:
z = 1.45, P = 0.15
Total (95% CI)
Test for heterogeneity:
χ2 = 25.94, df = 10, P = 0.004, I2 = 61%
Test for overall effect:
z = 0.86, P = 0.39
M-H=Mantel-Haenszel fixed effects model
0.1
0.2
0.5
Favours treatment
1
2
5
10
Favours no treatment
Polyzos NP et al., BMJ 2010
Por que você deve questionar os
resultados em todos os trabalhos
Ensaios com resultados negativos não são
publicados ou são publicados mais tarde
Ensaios com resultados negativos não são
publicados ou são publicados mais tarde
Outcome in favour of
the experimental arm
Proportion of abstracts published in full-text
1.0
Not-positive
Positive
Not-positive-censored
Positive-censored
0.8
0.6
0.4
0.2
0.0
0
20
40
60
80
100
Time to publication (months)
Entre os estudos apresentados na maioria dos encontros científicos, ensaios com resultados
positivos são mais propensos a serem publicados em comparação com os estudos negativos.
Polyzos NP et al., Hum Reprod 2011
Por que você deve questionar os
resultados em todos os trabalhos
Meta-análise muitas vezes conta com poucas
ou inconsistentes evidências
Meta-análise e revisões sistemáticas podem muitas
vezes contar com poucas ou inconsistentes evidências
• 61 revisões sistemáticas publicadas durante Julho de
2012 em Cochrane
– 15% das revisões incluíam 1ou 0 ensaios
– Metade incluíam menos que 1,000 pacientes randomizados
– 31 eram revisões atualizadas
– 11 dessas 31 revisões atualizadas incluíam o mesmo número de
ensaios e participantes da revisão anterior que eles pretendiam
atualizar.
Humaidan & Polyzos Nat Med 2012
Por que você deve questionar os
resultados em todos os trabalhos
Pesquisas apoiadas pela indústria podem
demonstrar melhor efeito de tratamento
Pesquisas apoiadas pela indústria podem
demonstrar melhor efeito de tratamento
Pesquisas patrocinadas
por indústrias químicas
foram 4x mais propensas a
ter resultados que
favoreciam o produto do
patrocinador do que as
pesquisas patrocinadas por
outras fontes
Study (first author)
Odds ratio
Azimi12
Cho14
Clifford15
Davidson16
Dieppe18
Djulbegovic19
Djulbegovic20
Friedberg23*
Friedberg23┼
Kamal-Bahl26╪
Kamal-Bahl26§
Koep30
Mandelkern32
Sacristan36¶
Sacristan36**
Thomas38
Vandenbroucke39
Yaphe41
0.1 0.2 0.5 1 2
OR 4.05; 95% CI 2.98-5.51
5 10
100
1000
Lexchin J et al., BMJ. 2003.
10000
Pesquisas apoiadas pela indústria podem
demonstrar melhor efeito de tratamento
(Reportagem original)
(Relações Financeiras em Análises Econômicas de
Terapias Direcionadas em Oncologia)
82% das análises de custo-efeito patrocinadas pela
indústria mostram que as drogas são rentáveis
Valachis et al., J Clin Oncol 2012
Pesquisas apoiadas pela indústria pode
demonstrar melhor efeito de tratamento
O comparador “Espantalho”
Patrocínio ou afiliação do autor, patrocínio ou conflito de interesse com o fabricante
100
90
80
Sensibilidade
70
60
50
40
30
20
10
0
0
10
20
30
40
50
60
70
80
90
100
1 - Especificidade
Estimativas para as ACE sem afiliação do autor, patrocínio ou conflito de interesse com o fabricante
Estimativas para as ACE com pelo menos um autor afiliado com o fabricante ou patrocínio ou conflito de interesse com o fabricante
A análise de custos-efetividade com o envolvimento da indústria foram associados
com os pressupostos inferiores de base da sensibilidade do teste Pap.
Polyzos NP et al., CMAJ 2011
Por que você deve questionar os
resultados em todos os trabalhos
Ensaios patrocinados pela indústria e até os
patrocinados pelo governo foram publicados
tardiamente no passado
Ensaios patrocinados pela indústria podem ser
publicados mais tarde do que os não patrocinados
• Tempo para publicação
– Indústria (24meses) vs. não indústria (20 meses) depois do
estudo completo p<0.001
Ross JS et al., JAMA 2013
• Taxa de publicação em um período de 2
anos
– Indústria (40%) vs. não governamental/não-indústria (56%)
– RR = 0.73, 95% CI 0.61–0.87; p<0.001
– indústria(40%) vs. ensaios governamentais (47%); p = 0.22
Ross JS et al., Plos Med 2009
Mesmo os ensaios patrocinados pelo
governo não são publicados imediatamente
• Ensaios NIH NÃO PUBLICADOS depois de concluídos
30 meses – metade publicado
51 meses - 1/3 não publicados
Porcentagem de estudos publicados
Porcentagem de estudos publicados
–
–
80
60
40
20
0
0
20
40
60
100
80
80
Ensaio concluídoantes de 2007
Ensaio concluídoem 2007-8
60
40
P<.001
20
0
0
Tempo desde a conclusão do estudo (meses)
No de estudos não publicados
Ensaio concluído antes de 2007
Não em risco
635
5
10
15
20
25
30
Tempo desde a conclusão do estudo (meses)
635
635
635
493
330
220
153
95
54
44
269
264
259
235
221
197
175
324
282
244
215
176
Ensaio concluído em 2007-8
366
356
Ross JS et al., BMJ 2011
• Por que você deve questionar os resultados
em todos os trabalhos
• Como você deve questionar os resultados
Como você deve questionar os resultados
Não rejeite antecipadamente um estudo baseado no seu
estado como ensaio de governança clínica e que relata
ter melhorado com o tempo
Não rejeite antecipadamente um estudo
baseado no seu estado
Ligação da indústria com uma publicação reduz seu valor para médicos
Disposição dos Médicos para Prescrever o Medicamento
Proporção da possibilidade
1.25
0.68 (95% CI, 0.49-0.94)
P = .02
0.52 (95% CI, 0.37-0.71)
P<.001
1.00
0.75
0.50
Indústria vs. Nenhum
Indústria vs. NIH
Fiananciamento
Menos propenso a até mesmo ler o artigo inteiro !
Patrocínio da indústria:
•
•
Influencia negativamente a percepção dos médicos da qualidade da metodologia
Reduz a sua disposição a acreditar e agir conforme as descobertas do ensaio,
independentemente da qualidade do ensaio
Kesselheim NEJM 2012
Por que você não deve rejeitar antecipadamente
baseado em seu atual estado
• A Diretriz da Boa Prática Clínica (Diretiva 2005/28/EC
de 8 de Abril de 2005 do Parlamento Europeu e do
Conselho)
• EudraCT vs. 9 (Registro de ensaios Europeus)
• Resultados devem ser fornecidos para todos os ensaios
intervencionais clínicos que se iniciaram na União
Europeia a partir de 1 de Maio de 2004
• O relatório e divulgação pública incluem:
– Ensaios que foram terminados precocemente
– Ensaios com resultados tanto positivos como negativos
– Ensaios de produtos com OU sem uma autorização de marketing
na comunidade
https://eudract.ema.europa.eu/index.html
Não rejeite antecipadamente um estudo
baseado no seu estado
A situação melhorou com o tempo?
• Para a Pharma introduzir uma nova droga a droga deve passar a
Fase II dos estudos para estabelecer a dosagem e segurança,
seguido pela fase III de estudos para confirmar a eficácia e depois
demonstrar a segurança, o que é monitorado externamente e deve
seguir estudos altamente metodológicos
• A taxa de sucesso da Fase II para novos projetos de desenvolvimento
caíram de 28% (2006–2007) para 18% (2008–2009)
Arrowsmith. Nature Reviews Drug Discovery 2011
• O sucesso combinado da Fase III e submissão têm caído a ~50% de
2007 a 2010
Arrowsmith. Nature Reviews Drug Discovery 2011
Como você deve questioner os resultados
Use uma abordagem de avaliação crítica ao
avaliar um artigo científico
Use uma abordagem de avaliação crítica
padrão ao avaliar um artigo científico
Avalie criticamente o propósito do estudo
• Qual a justificativa para realizar o estudo?
• Existe(m) questões de pesquisa(s) claramente
definida(s) e se não, deveria(m) existir?
Quadro de Como ler e criticar um trabalho de pesquisa
American Nurses Association
http://www.nursingworld.org
Use uma abordagem de avaliação crítica
padrão ao avaliar um artigo científico
Avalie criticamente o desenho do estudo
• O desenho é apropriado para o estudo?
• A amostra se encaixa com o desenho da pesquisa e o
tamanho é suficiente?
• Como os dados foram coletados?
• A abordagem analítica é consistente com as questões
do estudo e o desenho da pesquisa?
Quadro de Como ler e criticar um trabalho de pesquisa
American Nurses Association
http://www.nursingworld.org
Use uma abordagem de avaliação crítica
padrão ao avaliar um artigo científico
Examine se o estudo foi registrado em registro
público
• Será que o ensaio foi registrado antes de ser iniciado?
• Será que os parâmetros primários são os mesmos
registrados na versão registrada do ensaio?
Use uma abordagem de avaliação crítica
padrão ao avaliar um artigo científico
Sempre revise a literatura existente
• A revisão da literatura é relevante para o estudo,
abrangente e inclui pesquisas recentes?
• A revisão da literatura apoia a necessidade do estudo?
• As descobertas são compatíveis com a literatura
existente?
Quadro de Como ler e criticar um trabalho de pesquisa
American Nurses Association
http://www.nursingworld.org
Use uma abordagem de avaliação crítica
padrão ao avaliar um artigo científico
Avalie criticamente os resultados e
conclusões
• Os resultados estão claramente apresentados no texto,
tabelas e dados?
• Os resultados explicados tem relação com o quadro
teórico e questões da pesquisa?
• As limitações foram apresentadas e suas implicações
discutidas?
• Existem recomendações para a prática clínica?
Quadro de Como ler e criticar um trabalho de pesquisa
American Nurses Association
http://www.nursingworld.org
Conclusões
• Nenhum ensaio é livre de limitações, resultados podem
ocorrer ao acaso
• Existe até um risco de que os resultados sejam
enganosos
• Quanto mais robusto o estudo, mais provável de ser
verdadeiro
• Sempre revise toda a literatura e procure consistência
no que está relatado
• Não aceite ou rejeite de imediato os resultados de um
estudo baseado apenas na publicação do periódico,
grupo de pesquisa ou envolvimento da indústria
Obrigado