Avaliação de Desempenho de Avaliação de Desempenho de Métodos Quantitativos e Qualitativos Prof. Dr. Marco Antonio Stephano Laboratório de Imunobiológicos e Biofármacos Departamento de Tecnologia Bioquímico‐Farmacêutica Faculdade de Ciências Farmacêuticas Universidade de São Paulo [email protected] Avaliação de Desempenho de Métodos Quantitativos e Qualitativos O QUE É DESEMPENHO???? Desempenho (ou performance) é um conjunto de características ou capacidades de comportamento e rendimento de um indivíduo, de uma organização ou grupo de seres humanos, de animais ou de outros seres vivos, de máquinas ou equipamentos, de produtos, sistemas, empreendimentos ou processos, em especial p quando comparados q p com metas,, requisitos ou expectativas previamente definidos. Avaliação de Desempenho de Métodos Quantitativos e Qualitativos O QUE É DESEMPENHO???? A partir de um modelo matemático aceitável e representativo deste ente sob b avaliação li ã de d desempenho, d h e utilizando a abordagem da teoria de controle e otimização de sistemas dinâmicos pode‐se dinâmicos, pode se até mesmo, mesmo em determinadas situações, calcular matematicamente qual deva ser seu comportamento para que atinja o máximo desempenho almejado. Avaliação de Desempenho de Métodos Quantitativos e Qualitativos SÃO AS MESMAS COISAS?? VALIDAÇÃO QUALIFICAÇÃO AVALIAÇÃO Avaliação de Desempenho de Métodos Quantitativos e Qualitativos FASES DA VALIDAÇÃO Avaliação o Desenpenho Design Preparação Instalação Implantação p ç Tempo Definição de Sistemas e Subsistemas Qualificação de Instalação Qualificação Operacional (IQ) (OQ) Qualificação de Performance Prospectiva Prospectiva Revisões Anuais de Produto (PQ) Calibrações Change Control Fase IQ / OQ Fase PQ Treinamento Validação Avaliação de Desempenho de Métodos Quantitativos e Qualitativos Por que fazemos a avaliação do desempenho???? Tudo d tende d ao desgaste, d material, i l equipamentos i e pessoas. A avaliação desempenho vai ser a ferramenta que mostrará quando devemos trocar de material, consertar t ou trocar t d equipamento de i t ou submeter b t as pessoas a um novo treinamento ou até mesmo a um novo desafio. O impacto da avaliação de desempenho é direto sobre: 1º A comparação entre operadores; 1º A comparação entre operadores; 2º A característica dos reagentes; 3º A estabilidade dos padrões de referência; g q p 4º O desgaste do equipamento Avaliação de Desempenho de Métodos Quantitativos e Qualitativos Quantos ensaios são necessários para d determinar i uma não ã conformidade? f id d ? Quantos culpados vamos ter para que o teste volte a ser satisfatório? Quanto tempo vamos esperar para consertar um equipamento? Quanto lotes de referência vamos usar para atender os requisitos? Qual será o custo de se resolver muitas vezes um único problema.? Avaliação de Desempenho de Métodos Quantitativos e Qualitativos Como dito no início ‐ A p partir de um modelo matemático aceitável e representativo ‐ logo todas as relações expressas podem ser avaliadas por mecanismos matemáticos e estatísticos. Sendo assim a através de modelos podemos ter uma previsão ou até mesmo estipular um índice de desempenho. Avaliação de Desempenho de Métodos Quantitativos e Qualitativos Avaliação de Desempenho em Métodos Quantitativos Se os resultados do padrão de referência têm Se os resultados do padrão de referência têm distribuição NORMAL pode se usar parâmetros relacionados em torno da média aritmética ou média geométrica. geométrica Média Aritmética ‐ quando as diferentes concentrações do padrão de referência são analisados em progressão aritmética (p.ex. 5, 10, 15, 20, 25 e em progressão aritmética (p.ex. 5, 10, 15, 20, 25 e 30g/mL – PA = 5). Média Geométrica – quando as diferentes concentrações do padrão de referência são analisadas ç p em progressão geométrica (p.ex. 2, 4, 8, 16, 32, 64 g/mL – PG = 2). Avaliação de Desempenho de Métodos Quantitativos e Qualitativos Pad.Ref. a 500g Pad. Ref. a 250g Pad. Ref a125mg 505 251 126 512 253 127 499 254 125 508 255 125 504 250 126 502 248 124 503 253 126 503 257 125 504 253 124 505 256 123 510 255 127 505 255 125 502 254 125 498 254 126 507 251 123 503 252 126 Avaliação de Desempenho de Métodos Quantitativos e Qualitativos Descrição Analito 500g Analito 250g Analito125g Média Erro padrão Mediana Modo Desvio padrão Variância da amostra Curtose Assimetria Intervalo Mínimo Máximo Soma Contagem Maior(1) Menor(1) ( ) 504,375 0,90772 504 505 3,63089 13,18333 , 0,39740 0,37992 14 498 512 8070 16 512 498 253,1875 0,58608 253,5 , 253 2,34432 5,49583 , 0,19254 ‐0,57644 9 248 257 4051 16 257 248 125,1875 0,30576 125 126 1,22304 1,49583 , ‐0,43405 ‐0,40507 4 123 127 2003 16 127 123 Nível de confiança(95,0%) 1,934763 1,249200 0,651713 Avaliação de Desempenho de Métodos Quantitativos e Qualitativos Com os dados acima é possível calcular os Limites de Confiança pela formula t de student, onde G.L. é igual a 15 para um N = 16, para um nível de significância ( = 0,05). t0,0515=2,131 Logo: X P t 0, 05 15 t 0, 05 15 0,95 sX 504,375 P 2,131 2,131 0,95 496,6376 512,1124 3,63089 253,1875 P 2,131 2,131 0,95 248,1918 258,1832 2,34432 125,1875 P 2,131 2,131 0,95 127,7938 122,5812 1,22304 Avaliação de Desempenho de Métodos Quantitativos e Qualitativos Limites de Confiança para Padrão de Referência para 500g 514 512 510 508 506 504 502 500 498 496 494 0 2 4 6 Pad. Ref. 500 micrograma 8 10 Limite Superior 12 14 Limite Inferior 16 18 Avaliação de Desempenho de Métodos Quantitativos e Qualitativos Análises de Métodos Qualitativos Um método é considerado qualitativos quando não apresenta uma das seguintes características: Expressão vetorial: sentido direção e tamanho Expressão vetorial: sentido, direção e tamanho Relação numérica mensurável Geralmente são ensaios do tipo: Geralmente são ensaios do tipo: Tudo ou nada (quantal) positivo/negativo mortos/totais / vivos/totais Ensaio que envolva os sentidos olfato sabor visão tato ruído Avaliação de Desempenho de Métodos Quantitativos e Qualitativos Análise Comparativa de métodos Tabela de contigência 2 X 2 com descrição da b l d i ê i 2 2 d i ã d sensibilidade, especificidade, valor preditivo e testes estimados de eficiência. Método em Estudo em Estudo Diagnóstico Verdadeiro Positivo Negativo Totais Positivo A B A + B Negativo C D C + D Totais A + C B + D N Sensibilidade estimada (sens%) = [A/(A+C)]*100 Especificidade estimada (esp %) = [D/(B+D)]*100 Prevalência % = [(A+C)/N]*100 Estudo do valor preditivo para um resultado de esnasio positivo (PVP%) = [A/(A+B)]*100 Estudo do valor preditivo para um resultado de ensaio negativo (PVN%) = [D/(C+D)]*100 Eficiência estimada % = [A+D)/N]*100 Avaliação de Desempenho de Métodos Quantitativos e Qualitativos Análise Comparativa de métodos Limites de confiança Método de Clopper‐Pearson “Score confidence interval” EP 12 A Intervalo de confiança 95% para sensibilidade e especificidade [((Q1‐Q2)/Q3)*100, ((Q1 + Q2)/Q3)*100))] Para sensibilidade Q1 2 A 1,96 2 2 A 3,84 Q 2 1.96 1,96 2 4 AC ( A C ) 1,96 3,84 4 AC /( A C ) Q3 2 B D 1,96 2 2( B D) 7,68 Para A Especificidade Q1 2 D 1,96 2 2 D 3,84 Q 2 1,96 1,96 2 4 BD /( B D) 1,96 3,84 4 BD /( B D) Q3 2( B D 1,96 2 ) 2( B D) 7,68 Avaliação de Desempenho de Métodos Quantitativos e Qualitativos Requisito Mínimo Interesse Amostras Grande quantidade Possibilitar a comparação Número de Amostras 50 positivas e 50 negativas Resultados falso‐positivos (1) resultados falso‐negativos (1) l d f l ( ) Duração Diária durante 10 a 20 dias Obtenção de número representativo de amostras, avaliação sob condições de rotina li ã b di õ d ti Inspeção de dados durante a colheta Registro e exame imediatos Possibilitar a detecção precoce de quaisquer fontes de erros pré‐ analíticos tal como o humano analíticos tal como o humano Resultados discrepantes Ensaio por “gold standard” Fornecimento de resultados que possam ser úteis à clarificação de discrepâncias Painéis de amostras de referência Amostras previamente ensaiadas ou referenciadas por métodos bem definidos Fornecer crédito significativo ao processo de avaliação Diagnóstico Avaliação da exatidão Sensibilidade e especificidade Avaliação de Desempenho de Métodos Quantitativos e Qualitativos Os métodos estatísticos empregados nos ensaios quantais são: Spearman‐Karber Probitos Logit Todos os testes transformam as frequências em probabilidade, levando a linearidade dos resultados A comparabilidade é por meio de resultados. A comparabilidade é por meio de análise de 2. Avaliação de Desempenho de Métodos Quantitativos e Qualitativos Métodos Qualitativos Sensoriais Métodos Qualitativos Sensoriais Difícil de padronizar; Os procedimentos devem estar muito detalhado; p ; A validação se dá por método de normalização; Muito importante descrever o impacto da ç ç q diferença em relação a qualidade da amostras; O treinamento é fundamental e deve ser sempre reavaliado; Na área de alimentos (vinho, cerveja, café, chá, chocolates, yogurts, etc... São especialistas que conseguem diferenciar pequenas alterações do flavor (gosto, cheiro e textura ao mesmo tempo) Avaliação de Desempenho de Métodos Quantitativos e Qualitativos OBRIGADO Marco Antonio Stephano [email protected]
Download
