Disciplina de Introdução à Medicina
Ano Lectivo 2004/2005
Avaliação da Curva de Aprendizagem para uma
Classificação de Imagens de Cromoscopia de
Ampliação Gástrica
Regente: Prof. Doutor Altamiro da Costa Pereira
Orientador: Mário Ribeiro
Trabalho realizado pela Turma 19
Faculdade de Medicina Dentária da Universidade do Porto
Introdução
A Curva de Aprendizagem é um gráfico que reflecte a
evolução na aprendizagem de um dado método,
demonstrando ao longo do tempo a consolidação da
aprendizagem do indivíduo.[1]
Nas mesmas condições de estudo são consideradas
medidas de Reprodutibilidade a fim de determinar a
capacidade de obter valores consistentes.[2]
Neste tipo de estudos não podemos descurar também
as medidas de Validade, que pretendem medir o impacto
dos erros sistemáticos com base numa referência,
considerada pelo observador como o mais aceitável .[3]
[1] Hulley SB, Cummings SR. Designing Clinical Research. 2ª edição. Philadelphia: Lippincott Williams and Wilkins; 2001. p. 31
[2] Khalid SK, Chien PW. Evaluation of a clinical test I: Assessment of reliability. Departamento de Ginecologia e Obstetrícia do Hospital Birmingham
para mulheres e Departamento de Ginecologia e Obstetrícia do Hosptital Ninewells, ambos no Reino Unido, p-563.
[6]MedStat Web
Reprodutibilidade e Validade
Procedimento
pouco válido
e pouco
reprodutível
Procedimento
pouco válido
mas
reprodutível
Procedimento
válido e
reprodutível
Variedade da Aplicação da Curva de
Aprendizagem em diferentes Áreas
A curva de aprendizagem
é uma forma de avaliar
resultados que tem sido cada
vez mais utilizada. Ela é
aplicada em diversas áreas tais
como: robótica, psicologia,
medicina...[4]
Em todas estas áreas a
curva é um dos métodos
que melhor descreve a
relação na consolidação
da aprendizagem.
[4] http://www.alasbimnjournal.cl/revistas
Aplicação da Curva de Aprendizagem em
Medicina; Imagem Médica e Ensino
Médico
Na nossa área de estudo, a
medicina, verificamos que esta
relação está subjacente a várias
especialidades, nomeadamente a
gastroenterologia.[4]
Para diagnosticar o cancro gástrico existem vários
métodos, como a cromoscopia de ampliação gástrica .[5]
Para um bom desempenho na sua actividade, o
endoscopista necessita de treino específico, através da
aprendizagem do método, sendo a visualização e
classificação de vídeos uma possibilidade para a
construção de uma curva de aprendizagem .[5]
[4] http://www.alasbimnjournal.cl/revistas
[5] Triantafillidis JK, Cheracakis P. Diagnostic evaluation of patients with early gastric cancer – a literature review; 2004
Definição da Questão
Com este trabalho, pretendemos determinar e avaliar
a curva de aprendizagem através da visualização de
imagens de Cromoscopia de Ampliação Gástrica para o
diagnóstico de lesões percursoras do cancro gástrico.
Será que o método da Cromoscopia de Ampliação
Gástrica é reprodutível no contexto do diagnóstico de lesões
percursoras de cancro gástrico?
Será que o treino do observador condiciona a
reprodutibilidade desta medida?
Material e Métodos
Concepção do Desenho de Estudo
Quanto ao período de referência, trata-se de um
estudo prospectivo.
Quanto ao período de seguimento, trata-se de um
estudo longitudinal.
Definição da População Alvo e da Amostra
A população alvo será estudantes da área de saúde.
Foi escolhida uma amostra de conveniência para a
realização deste estudo em que as dezasseis alunas da
turma 19 do 1º ano de Medicina Dentária da Faculdade da
Universidade do Porto, sem um anterior conhecimento desta
técnica.
Material e Métodos
Materiais
Para a realização do estudo, foi fornecido a cada
participante um CD que dá acesso a um formulário web,
pelo qual o participante classificou uma sequência de
vídeos de cromoscopia, seleccionados aleatoriamente.
http://alga.med.up.pt
Cada vídeo foi avaliado
pelo observador segundo
três
grupos
e
seis
subgrupos de
padrões
endoscópicos aos quais o
participante terá sempre
acesso, podendo alterálos.
Material e Métodos
Análise estatística
Após a obtenção dos resultados e posterior
introdução dos dados em SPSS, efectuámos o estudo
estatístico da curva de aprendizagem e procurámos
definir o Kappa. Inicialmente, considerámos apresentar o
objecto de estudo segundo uma escala nominal, em que
as classificações têm todas o mesmo peso estatístico.[6]
Assim as observações
que se afastam
daquelas esperadas
pelo acaso, indicamnos o quão legítimas as
interpretações são.[6]
[6] Szklo R, Nieto FJ. Epidemiology, Beyond the Basis. Aspen Publications; 2000. p. 343-404
Resultados (Kappa por grupos)
Resultados
Curva de aprendizagem de especialistas
A
B
1
0,9
0,8
0,7
0,6
0,5
0,4
0,3
0,2
0,1
0
1
0,9
0,8
0,7
0,6
0,5
0,4
0,3
0,2
0,1
0
1
2
3
4
B
1
5
2
C
1,2
1
0,8
0,6
0,4
0,2
0
1
2
3
4
5
3
4
5
Resultados (Kappa por grupos)
Curva de aprendizagem de estudantes
D
E
1
0,9
0,8
0,7
0,6
0,5
0,4
0,3
0,2
0,1
0
1
0,9
0,8
0,7
0,6
0,5
0,4
0,3
0,2
0,1
0
1
2
3
4
5
1
2
F
0,9
0,8
0,7
0,6
0,5
0,4
0,3
0,2
0,1
0
1
2
3
4
5
3
4
5
Resultados (Kappa por grupos)
Kappa Inter-Observador
1
0,9
0,8
0,7
0,6
Especialistas
0,5
Estudantes
0,4
Total
0,3
0,2
0,1
0
1
2
3
4
5
Resultados (Kappa por subgrupos)
Resultados
Curva de aprendizagem de especialistas
A
B
0,9
1
0,9
0,8
0,7
0,6
0,5
0,4
0,3
0,2
0,1
0
0,8
0,7
0,6
0,5
0,4
0,3
0,2
0,1
0
1
2
3
4
5
1
2
C
1,2
1
0,8
0,6
0,4
0,2
0
1
2
3
4
5
3
4
5
Resultados (Kappa por subgrupos)
Curva de aprendizagem de estudantes
E
D
1
0,9
0,8
0,7
0,6
0,5
0,4
0,3
0,2
0,1
0
1
0,9
0,8
0,7
0,6
0,5
0,4
0,3
0,2
0,1
0
1
2
3
4
1
5
2
F
0,9
0,8
0,7
0,6
0,5
0,4
0,3
0,2
0,1
0
1
2
3
4
5
3
4
5
Resultados (Kappa por subgrupos)
Kappa Inter-Observador
0,8
0,7
0,6
0,5
Especialistas
0,4
Estudantes
Total
0,3
0,2
0,1
0
1
2
3
4
5
Resultados (Kappa Ponderado Linear por grupos)
Resultados
Curva de aprendizagem de especialistas
A
B
1
1
0, 9
0, 9
0, 8
0, 8
0, 7
0, 7
0, 6
0, 6
0, 5
0, 5
0, 4
0, 4
0, 3
0, 3
0, 2
0, 2
0, 1
0, 1
0
0
0
0
1
2
3
4
5
6
1
2
3
7
C
1
0, 9
0, 8
0, 7
0, 6
0, 5
0, 4
0, 3
0, 2
0, 1
0
0
1
2
3
4
5
6
7
4
5
6
7
Resultados (Kappa Ponderado Linear por grupos)
Curva de aprendizagem de estudantes
D
E
1
1
0, 9
0, 9
0, 8
0, 8
0, 7
0, 7
0, 6
0, 6
0, 5
0, 5
0, 4
0, 4
0, 3
0, 3
0, 2
0, 2
0, 1
0, 1
0
0
0
1
2
3
4
5
6
7
0
1
2
3
4
F
1
0, 9
0, 8
0, 7
0, 6
0, 5
0, 4
0, 3
0, 2
0, 1
0
0
1
2
3
4
5
6
7
5
6
7
Resultados (Kappa Ponderado Linear por grupos)
Kappa Inter-Observador
1
0,9
0,8
0,7
0,6
E speci al i stas
0,5
E studantes
T otal
0,4
0,3
0,2
0,1
0
0
1
2
3
4
5
6
Resultados (Kappa Ponderado Quadrático por grupos)
Resultados
Curva de aprendizagem de especialistas
A
B
1
1
0, 9
0, 9
0, 8
0, 8
0, 7
0, 7
0, 6
0, 6
0, 5
0, 5
0, 4
0, 4
0, 3
0, 3
0, 2
0, 2
0, 1
0, 1
0
0
0
1
2
3
4
5
6
0
1
2
3
C
1
0, 9
0, 8
0, 7
0, 6
0, 5
0, 4
0, 3
0, 2
0, 1
0
0
1
2
3
4
5
6
4
5
6
Resultados (Kappa Ponderado Quadrático por grupos)
Curva de aprendizagem de estudantes
D
E
1
1
0, 9
0, 9
0, 8
0, 8
0, 7
0, 7
0, 6
0, 6
0, 5
0, 5
0, 4
0, 4
0, 3
0, 3
0, 2
0, 2
0, 1
0, 1
0
0
0
1
2
3
4
5
6
0
1
2
3
F
1
0, 9
0, 8
0, 7
0, 6
0, 5
0, 4
0, 3
0, 2
0, 1
0
0
1
2
3
4
5
6
4
5
6
Resultados (Kappa Ponderado Quadrático por grupos)
Kappa Inter-Observador
1
0,9
0,8
0,7
0,6
E speci al i stas
0,5
E studantes
T otal
0,4
0,3
0,2
0,1
0
0
1
2
3
4
5
6
Resultados (Kappa Ponderado Linear por subgrupos)
Resultados
Curva de aprendizagem de especialistas
A
B
0,8
1
0,7
0,9
0,6
0,8
0,7
0,5
0,6
0,4
0,5
0,3
0,4
0,3
0,2
0,2
0,1
0,1
0
0
0
1
2
3
4
5
6
0
1
2
3
3
4
5
6
C
1
0,9
0,8
0,7
0,6
0,5
0,4
0,3
0,2
0,1
0
0
1
2
4
5
6
Resultados (Kappa Ponderado Linear por subgrupos)
Curva de aprendizagem de estudantes
E
D
1
1
0,9
0,9
0,8
0,8
0,7
0,7
0,6
0,6
0,5
0,5
0,4
0,4
0,3
0,3
0,2
0,2
0,1
0,1
0
0
0
1
2
3
4
5
6
0
1
2
3
F
1
0,9
0,8
0,7
0,6
0,5
0,4
0,3
0,2
0,1
0
0
1
2
3
4
5
6
4
5
6
Resultados (Kappa Ponderado Linear por subgrupos)
Kappa Inter-Observador
0,9
0,8
0,7
0,6
Especialistas
0,5
Estudantes
0,4
Total
0,3
0,2
0,1
0
0
1
2
3
4
5
6
Resultados (Kappa Ponderado Quadrático por subgrupos)
Resultados
Curva de aprendizagem de especialistas
A
B
1
1
0,9
0,9
0,8
0,8
0,7
0,7
0,6
0,6
0,5
0,5
0,4
0,4
0,3
0,3
0,2
0,2
0,1
0,1
0
0
0
1
2
3
4
5
6
0
1
2
3
C
1
0,9
0,8
0,7
0,6
0,5
0,4
0,3
0,2
0,1
0
0
1
2
3
4
5
6
4
5
6
Resultados (Kappa Ponderado Quadrático por subgrupos)
Curva de aprendizagem de estudantes
E
D
1
1
0,9
0,9
0,8
0,8
0,7
0,7
0,6
0,6
0,5
0,5
0,4
0,4
0,3
0,3
0,2
0,2
0,1
0,1
0
0
0
1
2
3
4
5
6
0
1
2
3
F
1
0,9
0,8
0,7
0,6
0,5
0,4
0,3
0,2
0,1
0
0
1
2
3
4
5
6
4
5
6
Resultados (Kappa Ponderado Quadrático por subgrupos)
Kappa Inter-Observador
1
0,9
0,8
0,7
0,6
Especialistas
Estudantes
0,5
Total
0,4
0,3
0,2
0,1
0
0
1
2
3
4
5
6
Discussão
A escolha desta amostra por conveniência pode:
conduzir a um viés, uma vez que é uma forma de selecção
condicionada;
não ser uma amostra representativa da população;
não alterar os resultados por ser uma amostra consecutiva.
Após a obtenção da análise estatística em SPSS, verificou-se
que o Kappa aumenta ao longo do tempo, isto é, tem valores
mais afastados do acaso à medida que aumenta o treino do
observador:
Numa primeira comparação com a referência obtivemos
um aumento generalizado, inferindo sobre os valores de
validade, em que as classificações se aproximam do gold
standard escolhido;
Discussão
Ao nível dos grupos
Através das curvas dos observadores fez-se uma comparação
das médias dos Kappas, em que se verificou que os resultados dos
especialistas eram mais favoráveis que os das estudantes, como
era esperado.
Gráfico do especialista B: apresenta geralmente o mesmo valor
de Kappa (0,84), sofrendo um crescimento na 4ª observação
(0,92).
Verificou-se que o procedimento
é reprodutível porque,
sistematicamente, o Kappa
mantém-se e como o seu valor se
aproxima de 1, podemos inferir
que também é válido.
Esta curva também transmite um erro constante.
B
1
0,9
0,8
0,7
0,6
0,5
0,4
0,3
0,2
0,1
0
B
1
2
3
4
5
Discussão
Gráfico da estudante D: apresenta um ligeiro decréscimo na
3ª observação.
D
Visto que o gráfico continua
crescente,
podemos inferir que a validade
e reprodutibilidade aumenta
com as observações.
1
0,9
0,8
0,7
0,6
0,5
0,4
0,3
0,2
0,1
0
1
2
3
4
5
Ao nível dos subgrupos
 Também verificámos o aumento dos valores de Kappa,
traduzindo este facto um aumento da validade e da
reprodutibilidade do método.
 Em ambos os casos se verifica uma convergência dos
Kappas para um mesmo valor (aproximadamente 0,7 e 0,8).
Discussão
Kappa Ponderado
Decidimos depois atribuir pesos às variáveis, segundo uma
escala ordinal, sendo estes expressos por mais de duas categorias
(grupos e subgrupos).
Ao nível do Kappa Ponderado analisámos o Linear e o
Quadrático: primeiramente atribuímos pesos lineares, constantes,
e depois também pesos quadráticos, exponenciais.
 Pode referir-se que a diferença de valores entre o Kappa
linear e quadrático não é significativa, uma vez que o número
de casos analisados é reduzido.
 Podemos inferir que o método é substancialmente
reprodutível, uma vez que há um aumento dos valores de
Kappa, aproximando-se estes de 1.
Discussão
 Verifica-se que os valores da estatística Kappa são superiores
aos de Kappa de Cohen, dando estes uma maior importância
à discordância, atribuindo-lhe um maior peso quando se
procede ao cálculo da reprodutibilidade.
 Para o aumento da validade e reprodutibilidade, contribuíram
o treino do observador, estabelecimento de normas e padrões
bem como o ocultamento, não havendo divulgação das
diferentes classificações dos vários observadores, para que não
houvesse influência nos resultados obtidos.
 Para as oscilações entre os valores de K, possivelmente além
dos conhecimentos dos observadores está inerente o estado
de espírito, a disponibilidade e atenção do observador.