Universidade Federal do Ceará Faculdade de Farmácia, Odontologia e Enfermagem Departamento de Enfermagem Curso de Pós-graduação em Enfermagem na Promoção da Saúde - Doutorado VALIDAÇÃO DE INTRUMENTOS EM ENFERMAGEM Facilitadora: Ms. Fernanda Jorge Magalhães. Fortaleza- 2013 OBJETIVOS DO APRENDIZADO Identificar o conceito de validação de instrumentos para o cuidado de Enfermagem; Caracterizar as etapas do processo de construção e validação de instrumentos; Citar exemplos de trabalhos científicos sobre o processo metodológico de construção e validação; CONSIDERAÇÕES INICIAIS Diversos estudos têm mostrado a necessidade da validação de instrumentos de medida como tecnologia eficaz e eficiente para assistência à saúde. A prática da Enfermagem tem sido fortemente influenciada pelos avanços tecnológicos, como a utilização de instrumentos que possibilitam: auxílio para o cuidado, implementação de rotina, educação em saúde e, tomada de decisão adequada diante de uma situação de risco. QUESTIONAMENTO O instrumento é válido como tecnologia para o cuidado de Enfermagem? EXEMPLO DE OBJETIVOS TÍTULO: “VALIDAÇÃO DO PROTOCOLO DE ACOLHIMENTO COM CLASSIFICAÇÃO DE RISCO EM PEDIATRIA” Geral Validar o Protocolo de Acolhimento com Classificação de Risco em Pediatria para classificar a prioridade de atendimento de crianças e adolescentes em situações de urgência e emergência. Específicos Identificar os conceitos dos atributos (sinais de alerta) presentes no protocolo de acolhimento com classificação de risco em pediatria, bem como antecedentes e consequentes; Validar a aparência e o conteúdo do Protocolo de Acolhimento com Classificação de risco, a partir do nível de concordância dos juízes quanto aos critérios simplicidade, clareza e relevância. (MAGALHÃES, 2012) METODOLOGIA TIPO DE ESTUDO: Validação de tecnologia, caracterizado por procedimentos metodológicos, o qual se busca por melhorar um instrumento construído por diversos autores para o aperfeiçoamento da assistência de Enfermagem. Modelo de validação de Hoskins (1989) Estruturas psicométricas de Pasquali (1997; 1999). Validação do Instrumento Vale ressaltar que, atualmente, algumas pesquisas brasileiras sobre validação de instrumentos adotam estes métodos de validação de forma conjugada (FREITAS, 2010; JOVENTINO, 2010; ALEXANDRE; COLUCI, 2011), assim como se pretende empregar neste estudo METODOLOGIA - PASQUALI TRÊS PÓLOS OU PROCEDIMENTOS DA PSICOMETRIA: Pólo teóricos; Pólo empíricos ou experimentais Pólo analíticos ou estatísticos. 1 Sistema psicológico identificação do tema 2 3 4 5 6 Propriedade do sistema psicológico decidir as propriedades que serão objeto imediato de interesse Dimensionalidade do atributo elaborar uma miniteoria sobre sua compreensão do construto que deseja medir. Definição dos construtos definições constitutivas e operacionais dos construtos Operacionalização do construto construção dos itens, representação comportamental do construto Análise teórica dos itens análise semântica, compreensão dos itens, e análise dos juízes, pertinência dos itens do construto que representam. 7 Planejamento da aplicação definidas a sistemática da aplicação do instrumento 8 9 10 11 12 Coleta de dados propriamente dita aplicando-se a versão piloto do instrumento à população-alvo. Dimensionalidade do instrumento análise fatorial verifica precisamente quantos construtos comuns são necessários para explicar as covariâncias (intercorrelações) dos itens. Análise empírica dos itens capacidade de diferenciar sujeitos com escores altos daqueles com escores baixos Fidedignidade do instrumento quanto os escores de um sujeito se mantêm semelhantes em ocasiões diferentes. Normatização As normas de desenvolvimento se fundamentam no fato do desenvolvimento progressivo METODOLOGIA TIPO DE ESTUDO Estudo metodológico, com destaque a avaliação e aperfeiçoamento de instrumentos, o qual tem como objetivo a avaliação e elaboração de instrumentos de modo a torná-lo confiável (POLIT; BECK; HUNGLER, 2001). O estudo se valeu a partir da sexta etapa da Validade de Conteúdo proposta por Pasquali (1997; 2011), denominada de “Análise Teórica dos Itens” Visa verificar a compreensão das tarefas propostas, por parte dos juízes, testando a avaliação da pertinência do item tal a tal, ou cada unidade, bem como avaliando o processo METODOLOGIA PSICOMETRIA (PASQUALI, 2011) METODOLOGIA VALIDAÇÃO DE CONTEÚDO 1 Construção dos conceitos dos atributos (Sinais de Alerta), antecedentes e consequentes; 2 Análise por Juízes Validade de Aparência e Conteúdo. VALIDAÇÃO DE CONTEÚDO CONSTRUÇÃO DOS CONCEITOS DOS ATRIBUTOS, ANTECEDENTES E CONSEQUENTES Revisão de Literatura, utilizando um POP : METODOLOGIA ETAPA 2: VALIDAÇÃO POR ESPECIALISTAS Verificação da adequação do conteúdo e das aparências dos componentes, por especialistas em ACCR e/ou saúde da criança e do adolescente. Captação dos especialistas Busca dos currículos da Plataforma Lattes - CNPq Termos: saúde da criança, emergência pediátrica e classificação de risco “Amostragem tipo bola de neve” Número de especialistas Será utilizado no mínimo 7 especialistas, com amostragem intencional. CAPTAÇÃO DOS JUÍZES Confirmação dos critérios para juízes por avaliação do Curriculum Lattes Amostragem tipo “bola de neve” Realizado convite por meio formal pessoalmente ou por correio eletrônico Estabelecido um prazo de 15 dias com prorrogação de mais 15 dias TCLE para juízes; Questionário de caracterização dos juízes; Check-list para validação; (POLIT; BECK; HUNGLER, 2004); Protocolo de ACCR Risco em Pediatria. CAPTAÇÃO DOS JUÍZES Número Pasquali (1999) e Rubio et al., (2003) sugerem números de 6 a 20 sujeitos, indicando número ímpar para evitar o empate de opiniões. Optou-se por no mínimo 7 juízes. Pontuação Mínimo 5 e máximo de 14 pontos. METODOLOGIA ETAPA 2: VALIDAÇÃO POR ESPECIALISTAS Instrumento de coleta de dados (Validação de Aparência e conteúdo) A validade aparente ou de rosto avaliam se o conceito reflete o que o pesquisador pretende mensurar. Pode ser útil para o desenvolvimento da ferramenta em relação à determinação da legibilidade e clareza do conteúdo (LOBIONDO-WOOD; HABER, 2001). Objetivos globais Pacientes a quem se destina Grupo de desenvolvim ento inclui todos os profissionais pertinentes. Utilizadoresalvo Formulação dos itens contempla aa proposta As recomendaçõe s são explícitas e não ambíguas Verificar a adequação das cores de classificação de risco proposta pelo Protocolo de ACCR em Pediatria. METODOLOGIA ETAPA 3: VALIDAÇÃO CLÍNICA Se valerá da utilização das etapas de análise da confiabilidade ou fidedignidade dos testes proposto por Pasquali (2011) com ênfase em duas amostras de sujeitos, com mesmo instrumento ou teste e em única ocasião. Confiabilidade ou fidedignidade do instrumento • Consistência com o que o instrumento mede o atributo; • Quanto menor a variação produzida nas mensurações repetidas, maior a confiabilidade. • Grau de eficácia que poderá predizer um desempenho específico. Validade de critério (preditiva e concorrente) • Desempenho do sujeito como critério contra o qual a medida obtida pelo teste é avaliada. ANÁLISE E APRESENTAÇÃO DOS DADOS Banco de dados no Microsoft Excel/2010 e processados e analisados no SPSS 17.0; - Quatro aspectos: Item está apropriado ou não ao protocolo; Correspondência na prioridade de atendimento e no protocolo; Determinação da simplicidade, clareza, relevância, precisão e amplitude; Sugestões e justificativas da avaliação. Escala do tipo Likert (cinco níveis de suporte): 1- Péssimo, 2- Insuficiente, 3- Regular, 4- Bom, 5- Excelente Organização e apresentação: Quadros, figuras e Tabelas ANÁLISE E APRESENTAÇÃO DOS DADOS Análise Estatística e Descritiva; Grau de concordância mensurado mediante o cálculo do Índice de Validação de Conteúdo (IVC). Calculado pela fórmula: O item é tido como representante para o traço latente se houver concordância de cerca de 80% entre os juízes. (PASQUALI, 1997; 2011; ORIÁ, 2008). ASPECTOS ÉTICO-LEGAIS Resolução nº 196/ 96, do Conselho Nacional de Saúde Comitê de Ética em Pesquisa da UFC – Protocolo nº 325/11 Educação Permanente da Secretaria Municipal de Saúde (SMS) EXEMPLO DE VALIDAÇÃO TÍTULO: “CONSTRUÇÃO E VALIDAÇÃO DE ESCALA PARA MENSURAR A AUTOEFICÁCIA MATERNA NA PREVENÇÃO DA DIARREIA INFANTIL” Geral Construir uma escala para mensurar a autoeficácia materna em prevenir a diarreia infantil. Específicos Elaborar itens e dimensões da autoeficácia materna em prevenir a diarreia infantil. Avaliar as propriedades psicométricas em termos de validade e confiabilidade do instrumento (JOVENTINO, 2010) EXEMPLO DE VALIDAÇÃO TÍTULO: “TRADUÇÃO, ADAPTAÇÃO CULTURAL E VALIDAÇÃO DO INFANT SLEEP QUESTIONNAIRE: APLICAÇÃO EM CRIANÇAS COM PARALISIA CEREBRAL ” Traduzir e adaptar o Infant Sleep Questionnaire (ISQ) para língua portuguesa no contexto brasileiro; Aplicar a versão portuguesa do Infant Sleep Questionnaire (ISQ) junto aos cuidadores de crianças com paralisia cerebral; Avaliar a confiabilidade e a validade da versão portuguesa do Infant Sleep Questionnaire (ISQ) para identificação de distúrbios do sono em crianças com paralisia cerebral; Verificar a associação entre os escores da versão portuguesa do Infant Sleep Questionnaire (ISQ) e as variáveis sociodemográficas e educacionais dos cuidadores e das características clínicas das crianças com PC. (LÉLIS, 2011) UMA DAS PROPOSTAS DA TESE!! TRADUÇÃO, ADAPTAÇÃO CULTURAL E VALIDAÇÃO DO PROTOCOLO DE ACOLHIMENTO COM CLASSIFICAÇÃO DE RISCO EM PEDIATRIA EM PORTUGAL PROPOSTA Processo de Tradução e Adaptação Cultural Durante o processo de tradução e adaptação do Protocolo de ACCR propõe-se as diretrizes para a adaptação cultural de instrumentos de medida que possibilitam alcançar uma equivalência semântica, idiomática, cultural e conceitual entre o instrumento original e a versão adaptada. ETAPAS a) dupla tradução para a língua portuguesa de Portugal e elaboração de uma versão síntese das traduções; b) retrotradução para a língua original; c) avaliação por comitê composto por especialistas; d) pré teste. (GUILLEMIN et al, 1993; BEATON et al, 2002) 2 tradutores brasileiros com fluência na língua portuguesa de Portugal serão contactados para realizar a tradução do instrumento; Apenas um dos tradutores será orientado quanto à natureza do instrumento, seus conceitos e objetivos, a fim de obter por um lado, uma versão confiável no que diz respeito aos propósitos do instrumento e; Por outro, uma versão capaz de extrair significados inesperados do instrumento original. Resultará nas versões T1 e T2 Será solicitado a um terceiro tradutor brasileiro com fluência na língua portuguesa de Portugal; Realização de uma síntese das versões T1 e T2, denominada T12 A versão síntese T12, será submetida à retrotradução para o idioma original.; Desta vez serão contactados um tradutor de nacionalidade portuguesa, residente em Portugal e proficiente na língua portuguesa brasileira que realizará a primeira retrotradução (RT1); E uma enfermeira também de nacionalidade portuguesa e residente em Portugal, com fluência no nosso idioma que realizará a segunda retrotradução (RT2) REFERÊNCIAS AGÊNCIA NACIONAL DE VIGILÂNCIA SANITÁRIA. Resolução da Diretoria Colegiada- RDC nº 210, de 04 de agosto de 2003. Diário Oficial da União de 14/08/2003. Disponível em: <http://www.anvisa.gov.br/legis/resol/2003/rdc/210_03rdc.pdf> Acesso em 01.11.2011. ALEXANDRE, N.M.C.; COLUCI, M.Z.O. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Ciência & Saúde Coletiva. v. 16, n. 7, p.3061-3068, 2011. BERTONCELLO, K. C. G. Qualidade de vida e a satisfação da comunicação do paciente após a laringectomia total: construção e validação de um instrumento de medida. Monografia [Graduação]. Escola de Enfermagem de Ribeira Preto da Universidade de São Paulo, 2004. BITTENCOURT, R.J.; HORTALE, V.A. Intervenções para solucionar a superlotação nos serviços de emergência hospitalar: uma revisão sistemática. Cad. Saúde Pública. v. 25, n. 7, p.1439-1454, 2009. BOJO, A. K. S.; HALL-LORD, M.L.; AXELSSON, O.; UDÉN, G.; WILDE, L.B. Midwifery care: development of fan instrument to measure quality base on the World Health Organization’s classification of care in normal birth. Journal of Clinical Nursing, Oxford, v. 13, n. 1, p. 75-83, 2004. Guillemin F, Bombardier C, Beaton D. Cross-cultural adaptation of helth-related quality of life measures: Literature review and proposed guideline. J clin epidemiol. 1993;46(12):1417-32. HOSKINS, L. M. Clinical validation, methodologies for nursing diagnoses research. In: CARROLJOHNSON, R. M. et al. (Ed.). Classification of nursing diagnoses: proceedings of the eighth conference of North American Nursing Diagnosis Association. Philadelphia: Lippincott, 1989. Beaton D, Bombardier C, Guillemin F, Ferraz MB. Recommendations for the crosscultural adaptation of health status measures. American Academy of Orthopedic Surgeons - Instirure for Work and Health; Revised March 2002.