Teste de hipóteses
Aula 06
Prof. Christopher Freire Souza
Centro de Tecnologia
Universidade Federal de Alagoas
www.ctec.ufal.br/professor/cfs
2
Christopher Souza: Teste
de hipóteses
Objetivos
• Desenvolver habilidades para inferir o
comportamento da população a partir de dados
de uma amostra
• Desenvolver habilidades para inferir se o
comportamento de duas populações diferem a
partir de dados de duas amostras
• Desenvolver habilidades para estimar o poder de
um teste em rejeitar uma hipótese
3
Christopher Souza: Teste
de hipóteses
Relevância do conteúdo
• Definição e avaliação de hipóteses são o cerne de estudos
científicos
• Testes de hipóteses trazem o respaldo matemático para
apoiar afirmações sobre o comportamento da população
em estudo
4
Christopher Souza: Teste
de hipóteses
Conteúdo
• Fundamentos de testes de hipóteses
• Testes sobre uma população
• Testes sobre duas populações
5
Christopher Souza: Teste
de hipóteses
Fundamentos de testes de
hipóteses
•
•
•
•
•
•
•
•
Hipótese
Hipótese nula e alternativa
Estatística de teste
Valor crítico
Valor p
Decisões e conclusões
Erro do tipo I e do tipo II
Poder de um teste
6
Christopher Souza: Teste
de hipóteses
Hipótese: nula e alternativa
• Em estatística, hipótese é uma afirmação sobre
uma propriedade da população
• Teste de hipótese: teste da afirmação
• Hipótese nula: afirmação em que o valor de um
parâmetro é comparado a um valor específico
▫ H0: m=m0
• Hipótese alternativa: afirmação que se deseja
testar
▫ H1: m≠m0, H1: m>m0, H1: m<m0
7
Christopher Souza: Teste
de hipóteses
Estatística de teste
• Valor usado para tomar decisão sobre a hipótese
nula (rejeitá-la ou não)
• Estimativa pela conversão da estatística
amostral em um escore (z, t, c², F), a partir da
suposição de que a hipótese nula seja verdadeira
8
Christopher Souza: Teste
de hipóteses
Região crítica
• Conjunto de todos os valores da estatística que
podem nos fazer rejeitar a hipótese nula
• Definição a partir da escolha do valor crítico,
assim como estimado no estudo de intervalos de
confiança
9
Christopher Souza: Teste
de hipóteses
Intervalos de confiança
“Estamos 95% confiantes de que o
intervalo qˆ ± E contém o valor de q”
10
Christopher Souza: Teste
de hipóteses
Intervalos de confiança
(proporção)
• Requisitos:
▫ Amostra aleatória simples.
▫ Condições para a distribuição
binomial satisfeitas.
▫ Haver pelo menos 5 sucessos População
e 5 fracassos, o que permite
Margem de
aproximar pela distribuição
Erro
normal
• Associa-se um grau de
confiança, e.g. 95%, de que o
valor do parâmetro de
proporção esteja inserido no
intervalo construído a partir
da proporção amostral
Tamanho da
Amostra
Infinita
Finita
11
Christopher Souza: Teste
de hipóteses
Intervalos de confiança
(m, para s conhecido)
• Requisitos:
▫ Amostra aleatória simples.
▫ Teorema do limite central
(Normal se não houver
outlier e histograma ~ forma
de sino)
• Associa-se um grau de
confiança, e.g. 95%, de que o
valor do parâmetro de média
esteja inserido no intervalo
construído a partir da média
amostral
População
Margem de
Erro
Tamanho da
Amostra
Infinita
Finita
12
Christopher Souza: Teste
de hipóteses
Intervalos de confiança
(m, para s desconhecido)
• Requisitos:
▫ Amostra aleatória simples.
▫ Teorema do limite central
(Normal se não houver
outlier e histograma ~ forma
de sino)
• Associa-se um grau de
confiança, e.g. 95%, de que o
valor do parâmetro de média
esteja inserido no intervalo
construído a partir da média
amostral
• Margem de Erro
▫ População infinita
▫ População finita
13
Christopher Souza: Teste
de hipóteses
Intervalos de confiança (s²)
• Requisitos:
▫ Amostra aleatória simples.
▫ Distribuição normal mesmo
para grandes amostras
• Associa-se um grau de
confiança, e.g. 95%, de que o
valor do parâmetro de
variância esteja inserido no
intervalo construído a partir
da variância amostral
• Estima-se desvio amostral a
partir da raiz da estimativa do
parâmetro de variância
14
Christopher Souza: Teste
de hipóteses
Valor P
• Probabilidade de obter, no mínimo, um valor da
estatística teste tão extremo quanto o valor representado
pela amostra
• Obtenção de magnitude do valor P permite a decisão de
rejeitar ou não a hipótese nula sem definir a priori o
valor crítico
• Rejeitar ou não a hipótese depende da ponderação sobre
o que se considera crítico e sua relação com o valor P
• Em testes bilaterais, dobra-se a área estimada com a
estatística de teste para um dos lados para avaliar se
rejeita a hipótese nula (P>a)
15
Christopher Souza: Teste
de hipóteses
Decisão e conclusões
• Teste da hipótese nula permite:
▫ Rejeitá-la
▫ Deixar de a rejeitar
• Se afirmativa original contiver igualdade e for rejeitada, pode se
concluir que:
▫ Há evidência suficiente para garantir a rejeição de H0
• Senão
▫ Não há evidência suficiente para garantir a rejeição de H0
• Se afirmativa original não contiver igualdade (H1) e a hipótese nula
for rejeitada, pode se concluir que:
▫ Os dados amostrais apóiam a afirmativa de que H1
• Senão
▫ Não há evidência amostral suficiente para apoiar H1
16
Christopher Souza: Teste
de hipóteses
Erros
• Tipo I (a)
▫ Rejeitar H0 quando deveria
ser aceita
• Tipo II (b)
▫ Não rejeitar H0 quando
deveria ser rejeitada
• Controle de erros: a, b e n
estão relacionados
17
Christopher Souza: Teste
de hipóteses
Investigações sobre Erro do tipo I
• Supondo:
▫
▫
▫
▫
a = 0,05
s = 0,0625
n = 64
Ho: p=0,5
• Tem-se:
▫ za/2=1,96
▫ pa/2=0,5  0,1225
• Se utilizarmos a=0,01
▫ za/2=2,575
▫ pa/2=0,5  0,1609
• Se utilizarmos n=100
▫
▫
▫
▫
a = 0,05
s = 0,05
za/2=1,96
pa/2=0,5  0,098
18
Christopher Souza: Teste
de hipóteses
Investigações sobre Erro do tipo II
• Supondo:
▫
▫
▫
▫
▫
▫
a = 0,05
n = 64
s = 0,0625
Ho: p=0,5
pa/2=0,5  0,1225
Ha: p=0,7
• Tem-se:
▫ z1 = (0,5-0,1225-0,7) / 0,0625
= -5,16
▫ z2= (0,5+0,1225-0,7)/ 0,0625
= -1,24
▫ b=0,107488
• Se utilizarmos H1: p=0,55
▫ z1=(0,5-0,1225-0,55) /
0,0625 = -2,76
▫ z2= (0,5+0,1225-0,55)/
0,0625 = 1,16
▫ b=0,877-0,0029=0,8741
• Se utilizarmos n=100
▫ z1 = (0,5-0,098-0,7) / 0,05 = 5,96
▫ z2= (0,5+0,098-0,7)/ 0,05 = 2,04
▫ b=0,0207
19
Christopher Souza: Teste
de hipóteses
Investigações sobre Erro do tipo II
• Supondo:
▫
▫
▫
▫
▫
▫
a = 0,05
n = 64
s = 0,0625
Ho: p=0,5
pa/2=0,5  0,1225
H1: p=0,7
• Tem-se:
▫ z1 = (0,5-0,1225-0,7) / 0,0625
= -5,16
▫ z2= (0,5+0,1225-0,7)/ 0,0625
= -1,24
▫ b=0,107488
• Se utilizarmos a=0,01
▫ z1=(0,5-0,1609-0,7) / 0,0625
= -5,77
▫ z2= (0,5+0,1609-0,7)/ 0,0625
= -0,625
▫ b=0,266
20
Christopher Souza: Teste
de hipóteses
Resumo de investigações
• Quando n aumenta, os dois
erros diminuem
• Quando a diminui, b aumenta
• Erro tipo II mais provável se
Ha se aproxima de H0
• Maior interesse em detectar
grandes diferenças entre
valores supostos (H0) e
verdadeiros (Ha)
pa/2
n
a
b,p=0,7
b,p=0,55
0,5  0,1225
64
5%
0,107488
0,8741
0,5  0,1609
64
1%
0,266
0,5  0,098
100
5%
0,0207
21
Christopher Souza: Teste
de hipóteses
Poder de um teste
• Poder de apoiar uma hipótese
alternativa verdadeira (1-b).
22
Christopher Souza: Teste
de hipóteses
Testes de hipóteses sobre uma
população
Método tradicional
Valor P
• Comparação de estatística de
teste, z, t ou c², com valor
crítico para o nível de
confiança
• Estatística de teste é estimada
como visto nas distribuições
de estatísticas amostrais,
normal para médias, t e c²,
• Avaliação de significância da
área sob a curva estimada a
partir da estatística de teste e
da distribuição do parâmetro
populacional definido na
hipótese nula
• MATLAB: ztest, ttest, vartest
23
Christopher Souza: Teste
de hipóteses
Testes de hipóteses sobre uma
população
• Método do intervalo de confiança
▫ Comparação de intervalos de confiança com
parâmetro em avaliação na hipótese nula para o
nível de significância
▫ Em testes unilaterais, o intervalo de confiança é
construído para nível de confiança de 1-2a
▫ Se parâmetro em avaliação na hipótese nula
estiver fora do intervalo, rejeita-se a hipótese nula
24
Christopher Souza: Teste
de hipóteses
Amostra não-normal
• Uma hipótese (a ser testada):
▫ Estatística de teste = valor obtido da amostra
original
▫ Se distribuição de estatísticas amostrais, seguir
normal, t ou c², valor crítico estimado como antes
▫ (Dúvida:) Intervalo de confiança da estatística de
teste pode ser estimado via bootstrap?
25
Christopher Souza: Teste
de hipóteses
Inferências sobre duas proporções
• Requisitos:
▫ Amostras aleatórias simples.
▫ Condições para a distribuição
binomial satisfeitas.
▫ Haver pelo menos 5 sucessos
e 5 fracassos em cada
amostra, o que permite
aproximar pela distribuição
normal
• Proporção amostral
combinada:
• Estatística de teste:
• Estimativa de intervalo de
confiança
26
Christopher Souza: Teste
de hipóteses
Inferências sobre duas médias
Amostras independentes, s conhecido
• Requisitos:
• Estatística de teste:
▫ Amostras aleatórias simples.
▫ Distribuições normais ou
n>30
• Sugestão:
▫ Analise preliminarmente as
amostras
• Estimativa de intervalo de
confiança
27
Christopher Souza: Teste
de hipóteses
Inferências sobre duas médias
Amostras independentes, s desconhecido
• Requisitos:
• Estatística de teste:
▫ Amostras aleatórias simples.
▫ Distribuições normais ou
n>30
• Sugestão:
▫ Analise preliminarmente as
amostras
• Para identificar valores
críticos:
• Estimativa de intervalo de
confiança
• MATLAB: ttest2
28
Christopher Souza: Teste
de hipóteses
Inferências sobre duas médias
Amostras emparelhadas, s desconhecido
• Requisitos:
• Estatística de teste:
▫ Amostras aleatórias simples.
▫ Distribuições normais ou
n>30
• Sugestão:
▫ Analise preliminarmente as
amostras
• Dados trabalhados como
diferenças de valores
emparelhados (d)
• Estimativa de intervalo de
confiança
• MATLAB: ttest2
29
Christopher Souza: Teste
de hipóteses
Inferências sobre duas variâncias
• Requisitos:
• Estatística de teste:
▫ Amostras aleatórias simples.
▫ Populações independentes
▫ Distribuição normal
• std1>std2
• MATLAB: vartest2
30
Christopher Souza: Teste
de hipóteses
Inferências sobre duas variâncias
• Método Conte Cinco
▫ Não requer distribuição
normal
▫ Tamanhos amostrais iguais
▫ Se uma das amostras têm
pelo menos cinco dos maiores
desvios médios absolutos, sua
população tem uma maior
variância
• Teste de Levene-BrownForsythe
▫ Transforma-se cada conjunto
de dados por meio da
subtração de cada dado por
sua mediana
▫ Em seguida, aplica-se o teste
t para duas populações
31
Christopher Souza: Teste
de hipóteses
Testes não-paramétricos
Vantagens
Desvantagens
• Não exigem que a distribuição
seja normal
• São aplicáveis a dados
categóricos (qualitativos)
• Cálculos mais simples
• Desperdiçam informação por
tratarem dados de forma
qualitativa
• Menor eficiência dos testes
32
Christopher Souza: Teste
de hipóteses
Eficiência
Teste não-paramétrico vs paramétrico (população normal)
Aplicação
Paramétrico
Pares combinados t ou z
Nãoparamétrico
Eficiência
Sinais
0,63
Postos com sinais
de Wilcoxon
0,95
Duas amostras
independentes
t ou z
Soma de postos
de Wilcoxon
0,95
Várias amostras
independentes
F
Kruskal-Wallis
0,95
Correlação
Correlação linear
Correlação de
postos
0,91
Aleatoriedade
-
Seqüências
-
33
Christopher Souza: Teste
de hipóteses
Postos
• Número atribuído a um item
da amostra de acordo com sua
posição na lista ordenada.
• Em caso de empates, aplica-se
a média dos postos como valor
de posto de cada item com
igual valor
•
•
•
•
•
Ex:
x: [12 10 5 5 4 5 11 12]
xo: [4 5 5 5 10 11 12 12]
io: [1 3 3 3 5 6 7,5 7,5]
i: [7,5 5 3 3 1 3 6 7,5]
34
Christopher Souza: Teste
de hipóteses
Testes não-paramétricos
• Sinais
▫ Igualdade de medianas
(pareado)
▫ Proporção = 50%
▫ Mediana de uma população
• Soma de Postos de Wilcoxon
(igualdade de medianas)
▫ Pareado
▫ Homogeneidade – MannWhitney
• Kruskal-Wallis – igualdade de
medianas de três ou mais
populações
• Sequências - Inflexões
(Aleatoriedade)
• Wald-Wolfowitz
(Independência)
• Correlação de Spearman
▫ Significância da correlação
▫ Estacionariedade da série
• Pettitt (Quebra de tendência)
• Grubbs e Beck (Outlier)
35
Christopher Souza: Teste
de hipóteses
Teste dos sinais
Pares combinados (igualdade de medianas)
• Procedimento:
▫ Subtrair cada valor da
segunda variável pelo
correspondente na primeira
▫ Posições de diferenças nulas
são excluídas
▫ Série constituída apenas por
sinais de diferenças
• Fundamento:
▫ Se medianas são iguais,
número de sinais positivos e
negativos são iguais
• Estatística de teste:
• p/ n≤25: x
• p/ n>25:
• Valor crítico:
• p/ n≤25, buscar x na tabela A7 do Triola
• p/ n>25, buscar z na tabela A2 do Triola
• MATLAB: signtest
36
Christopher Souza: Teste
de hipóteses
Teste dos sinais
Dados nominais (Proporção = 50%)
• Requisitos
▫ Amostra aleatória
• Fundamento: teste de
freqüência de sinais
▫ x = número de vezes que
ocorreu sinal menos
freqüente
▫ n = número de sinais
positivos e negativos
combinados
• Cuidado:
▫ Se dados contradizem H1
nem aplica teste, pois deixa
de fazer sentido o teste
• Estatística de teste:
• p/ n≤25: x
• p/ n>25:
• Valor crítico:
• p/ n≤25, buscar x na tabela A7 do Triola
• p/ n>25, buscar z na tabela A2 do Triola
37
Christopher Souza: Teste
de hipóteses
Teste dos sinais
Mediana de uma população
• Procedimento:
▫ Subtrair cada valor da
amostra do valor da mediana
sugerida em H0
▫ Posições de diferenças nulas
são excluídas
▫ Série constituída apenas por
sinais de diferenças
• Estatística de teste:
• p/ n≤25: x
• p/ n>25:
• Valor crítico:
• p/ n≤25, buscar x na tabela A7 do Triola
• p/ n>25, buscar z na tabela A2 do Triola
• MATLAB: signtest
38
Christopher Souza: Teste
de hipóteses
Soma de postos de Wilcoxon
Diferença de amostras emparelhadas
• Requisito:
▫ Diferenças tem distribuição
aproximadamente simétrica.
• a=soma de valores absolutos
dos postos negativos das
diferenças d não-nulas (51)
• b=soma dos postos positivos
das diferenças d não-nulas (15)
• T=min(a,b)
• Estatística de teste:
• p/ n≤30: T (tab. A-8 para Ta)
• p/ n>30:
Reg.
Sec.
d
Postos
Sinais
1903
2009
-106
10
-10
1935
1915
20
1
1
1910
2011
-101
9
-9
2496
2463
33
3
3
2108
2180
-72
8
-8
1961
1925
36
4
4
2060
2122
-62
6
-6
1444
1482
-38
5
-5
1612
1542
70
7
7
1316
1443
-127
11
-11
1511
1535
-24
2
-2
39
Soma de postos de
Wilcoxon
Duas amostras independentes
• Requisito:
▫ n>10 para cada amostra
• Trabalha também dados ordinais
• Equivale a Mann-Whitney
• R=soma dos postos de uma das
amostras
• Estatística de teste:
• Onde:
• MATLAB: ranksum
Christopher Souza: Teste
de hipóteses
Homens
Mulheres
Posto
IMC
IMC
Posto
11,5
23,8
19,6
2,5
9
23,2
23,8
11,5
14
24,6
19,6
2,5
17
26,2
29,1
22
10
23,5
25,2
15,5
13
24,5
21,4
5
6
21,5
22,0
7
24
31,4
27,5
19
18
26,4
33,5
25
8
22,7
20,6
4
20
27,8
29,9
23
21
28,1
17,7
1
15,5
25,2
R1=187
n1=13
n1=12
R2=138
40
Kruskal-Wallis
Christopher Souza: Teste
de hipóteses
Igualdade de medianas de três
ou mais populações
• Requisito:
▫ n>5 para cada amostra
• H ~ c²k-1
• Equivale a ANOVA
• H grande para amostras
muito diferentes (teste
unilateral à direita)
• R=soma dos postos de uma
das amostras
• Estatística de teste:
• Onde:
• Para corrigir H em função do
número de empates, divida H
por
• Onde (m = número de valores
com empates e ti é o número
de observações empatadas no
próprio grupo):
• Valor crítico estimado via c²k-1
• MATLAB: kruskalwallis
41
Sequências
Christopher Souza: Teste
de hipóteses
Aleatoriedade
• Sequência: sucessão de dados
com mesma característica
• Ex.: valores acima ou abaixo da
mediana
• Trabalha também dados
ordinais
• G=número de sequências na
amostra
• Aleatoriedade definida se
0<<G<<n
• Estatística de teste:
▫ G, se n1<20 e n2<20 e a=0,05
▫ senão,
• onde
▫ n1 e n2 representam número
de valores de mesma
característica
• Para G como estatística de
teste, compare com valores
críticos apresentados na tabela
A-10 do Triola
• MATLAB: runstest
42
Wald-Wolfowitz
Christopher Souza: Teste
de hipóteses
Independência
• Séries aleatórias podem não ser
independentes
• Influência de contribuições
subterrâneas às vazões de rio
resulta em maior dependência
para intervalos menores de
discretização
• Para tanto, calcula-se:
• Estatística de teste:
• onde
43
Christopher Souza: Teste
de hipóteses
Significância de correlação de
postos de Spearman
• H0: rs=0
• H1: rs≠0
• Estatística de teste:
▫ Se não houver empate para
um mesmo conjunto de
dados:
▫ Se houver empate:
• Valores críticos:
▫ Se n≤30, use tabela A-9 do
Triola
▫ Senão,
44
Christopher Souza: Teste
de hipóteses
Estacionariedade
• Teste de correlação de
Spearman entre postos de
dados e suas respectivas
posições na série
45
Christopher Souza: Teste
de hipóteses
Teste de Grubbs e Beck
Identificação de outliers
• Limites para consideração de
outliers são estimados por:
▫ Limite superior
▫ Limite inferior
▫ onde