Análise da Regressão múltipla:
Inferência
Revisão
Aula 25 de agosto de 2014
Hipóteses do modelo linear
clássico (MLC)
Sabemos que, dadas as hipóteses de GaussMarkov, MQO é BLUE.
Para realizarmos os testes de hipóteses clássicos,
precisamos acrescentar mais uma hipótese.
Vamos supor que u é independente de x1, x2,…, xk
e que u e normalmente distribuído com média zero
e variância s 2: u ~ Normal(0,s 2).
Hipóteses do MLC (cont.)
Sob MLC, MQO é não apenas BLUE, mas
também o estimador não-viesado de variância
mínima.
Podemos resumir as hipóteses do CLM como:
y|x ~ Normal(b0 + b1x1 +…+ bkxk, s 2)
Embora assumamos normalidade, nem sempre ela
se verifica.
Em grandes amostras, a hipótese de normalidade
não é necessária.
Uma distribuição normal homocedástica com
uma única variável explicativa
y
f(y|x)
.
Distribuições
normais
x1
x2
. E(y|x) = b + b x
0
1
Distribuição normal amostral
Sob as hipótesesdo MLC, condicionando nos
valoresamostraisdas variáveisindependentes
bˆ ~ Normalb ,Var bˆ , o que implica
j
bˆ
j
bj


j
 
j
~ Normal0,1
ˆ
sd b j
 
bˆ j temdistribuição normalporque é uma
combinaçãolinear dos erros(normais).
O teste t
Sob as hipótesesdo CLM
bˆ j  b j
~ t n k 1.
ˆ
se b


 
j
Observe que agoraa distribuição é a t (e não a norm al)
porqueestim am oss 2 por sˆ 2 .
Reparenos grausde liberdade: n  k  1
O teste t (cont.)
O conhecimento da distribuição amostral
dos estimadores nos permite fazer testes de
hipóteses.
Comece com a hipótese nula.
Por exemplo, H0: bj=0
Se aceitamos a nula, aceitamos que xj, após
controlarmos pelos outros x’s, não tem
efeito em y.
O teste t (cont.)
Primeiroprecisamosobter a
ˆ
b
j
ˆ
estatística t para b j : t bˆ 
j
 
.
se bˆ j
Vamosentão usar a estatística t e alguma
regra de rejeiçãopara determinarse
aceitamosa hipótese nula, H 0 .
Teste t: caso unicaudal
Além de nossa, H0, precisamos de uma hipótese
alternativa, H1, e um nível de significância.
H1 pode ser unicaudal ou bicaudal.
H1: bj > 0 e H1: bj < 0 são unicaudais.
H1: bj  0 é bicaudal.
Se queremos apenas 5% de probabilidade de
rejeitar H0 caso ela seja, então dizemos que nosso
nível de significância é de 5%.
Alternativa unicaudal (cont.)
Escolhido um nível de significância, a,
olhamos no (1 – a)-ésimo percentil na
distribuição t com n – k – 1 df e chamamos
esse valor, c, de valor crítico.
Rejeitamos a hipótese nula se a estatística t
é maior que o valor crítico.
Se a estatística t for menor que o valor
crítico, então não rejeitamos a nula.
Alternativa unicaudal (cont.)
yi = b0 + b1xi1 + … + bkxik + ui
H0: bj = 0
H1: bj > 0
Não rejeitamos
Rejeitamos
1  a
0
a
c
Uni vs bicaudal
Como a distribuição t é simétrica, testar H1: bj < 0
é direto. O valor crítico é simplesmente o
negativo do anterior.
Rejeitamos a nula se t < –c; se t > –c, então não
rejeitamos a nula.
Para um teste bicaudal, escolhemos um valor
crítico baseado em a/2 e rejeitamos H1: bj  0 se o
valor absoluto da estatística t for > c.
Alternativa bicaudal
yi = b0 + b1Xi1 + … + bkXik + ui
H0: bj = 0
H1: bj ≠ 0
Não rejeitamos
Rejeitamos
Rejeitamos
1  a
a/2
-c
0
a/2
c
Resumo de H0: bj = 0
A menos que seja explicitado ao contrário,
estaremos considerando a alternativa bicaudal.
Se rejeitamos a nula, dizemos que “xj é
estatisticamente significante ao nível de a%”
Se não rejeitamos a nula, dizemos “xj é
estatisticamente não significativo ao nível de a %”
Testando outras hipóteses
Podemos generalizar a estatística t
testando H0: bj = aj .
Neste caso, a estatística t é dada por

bˆ
t
j
 aj

 
,
onde
se bˆ j
a j  0 no teste usual.
Intervalos de confiança
Outra forma de usar os procedimentos clássicos
de teste de hipóteses é construindo um intervalo de
confiança utilizando o mesmo valor crítico do
teste bicaudal.
Um intervalo de confiança de (1 - a) % é definido
por:
 
 a
ˆ
ˆ
b j  c  se b j , onde c é o 1 -  percentil
 2
na distribuiç ão t n  k 1.
Calculando o p-valor do teste t
Uma alternativa ao procedimento clássico de teste
é perguntar: “qual é o menor nível de significância
ao qual a nula seria rejeitada?”
Calcule a estatística t, e olhe em que percentil ela
está na distribuição t apropriada – este é o p-valor.
O p-valor é a probabilidade de observarmos
valores iguais ou maiores (em valor absoluto) à
estatística t obtida se a nula for verdadeira.
P-valores, testes t´s etc.
A maioria dos pacotes calcula o p-valor,
assumindo um teste bicaudal.
Se se estiver interessado na alternativa
unicaudal, basta dividir o p-valor reportado
por 2.
Testando uma combinação linear
Ao invés de testar se b1 é igual a uma constante,
podemos testar que ele é igual a outro parâmetro,
ou seja, H0 : b1 = b2.
Use o mesmo procedimento para calcular a
estatística t
bˆ1  bˆ2
t
ˆ
ˆ
se b1  b 2


Testando uma combinação linear
(cont.)
Com o




Var bˆ  bˆ   Var bˆ   Var bˆ  2Covbˆ , bˆ 
sebˆ  bˆ   sebˆ   sebˆ   2s 
ondes é um estim adorde Covbˆ , bˆ .
se bˆ1  bˆ2  Var bˆ1  bˆ2 , então
1
2
1
2
2
1
2
12
1
1
1
2
2
12
1
2
2
2
Testando uma combinação linear
(cont.)
Então, precisamos de s12.
Muitos pacotes, como o Eviews, fornecem
essa estatística.
Mas o Eviews tem uma opção que permite
fazer o teste automaticamente.
O teste pode ser reescrito, conforme
mostrado a seguir.
Exemplo:
Suponha que você esteja interessado nos
efeitos dos gastos de campanha no resultado
das eleições.
O modelo é votoA = b0 + b1log(gastoA) +
b2log(gastoB) + b3prtystrA + u
H0: b1 = - b2, ou H0: q1 = b1 + b2 = 0
b1 = q1 – b2; substituindo e rearranjando 
votoA = b0 + q1log(gastoA) + b2log(gastoB gastoA) + b3prtystrA + u
Exemplo (cont.):
É o mesmo modelo, mas agora você tem um erro
padrão para b1 – b2 = q1 diretamente da regressão.
Qualquer combinação linear de parâmetros pode
ser testada de forma similar.
Outros exemplos de testes de hipóteses sobre uma
única combinação linear de parâmetros:
 b1 = 1 + b2 ; b1 = 5b2 ; b1 = -1/2b2; etc
Múltiplas restrições lineares
Os exemplos anteriores eram de uma única
restrição linear (p.e. b1 = 0 or b1 = b2 )
Mas também podemos testar
conjuntamente múltiplas hipóteses sobre os
parâmetros.
Um exemplo é do “restrição de exclusão” –
queremos testar se um grupo de parâmetros
é igual a zero.
Teste de restrição de exclusão
Agora, a hipótese nula é algo do tipo
H0: bk-q+1 = 0, ... , bk = 0
A alternativa é H1: H0 é falsa, ou seja, pelo menos
um dos b´s é diferente de zero.
Não podemos apenas fazer cada teste t
isoladamente, porque queremos saber se os q
parâmetros são conjuntamente significativos a um
certo nível – é possível que nenhum seja
individualmente significante a este nível.
Teste de restrição de exclusão
(cont.)
O teste é feito estimando o “modelo restrito” sem
xk-q+1,, …, xk, assim como o “modelo irrestrito”
com todos os x’s.
Intuitivamente, queremos saber se xk-q+1,, …, xk
causam uma variação suficientemente grande na
SSR

SSRr  SSRur  q
F
, onde
SSRur n  k  1
r é restritoe ur irrestrito.
A estatística F
A estatística F é sempre positiva, uma vez
que a SSR do modelo restrito não pode ser
menor que a do modelo irrestrito.
A estatística F statistic mede o crescimento
relativo na SSR quando se passa do modelo
irrestrito para o modelo restrito.
q = número de restrições, ou dfr – dfur
n – k – 1 = dfur
A estatística F (cont.)
Para decidir se o aumento na SSR é “grade
o suficientes” para rejeitar as exclusões,
precisamos conhecer a distribuição amostral
de nossa estatística F.
Não é de se surpreender que F ~ Fq,n-k-1,
onde q é o número de graus de liberdade do
numerador e n – k – 1 é o número de graus
de liberdade do denominador.
A estatística F (cont.)
f(F)
Rejeita H0 ao
nível de
significância a se
F>c
Não rejeita
a
1  a
0
c
Rejeita
F
A estatística F em função do
2
R
Podemos usar o fato de que, em qualquer
regressão, SSR = SST(1 – R2) e substituir na
fórmula:
R

R q
F
, onde
1  R n  k  1

2
ur
2
ur

2
r
r é restritoe ur é irrestrito.
Significância da regressão
Um caso especial é o teste
H0: b1 = b2 =…= bk = 0.
Como o R2 do modelo com apenas o intercepto
será zero, a estatística F será simplesmente:
2
R k
F
2
1  R n  k  1


Restrições lineares gerais
A forma básica da estatística F é válida
para qualquer restrição linear.
Primeiro estime os modelos irrestrito e
restrito.
Em cada caso, anote a SSR e substitua na
fórmula.
Exemplo:
O modelo is votoA = b0 + b1log(gastoA) +
b2log(gastoB) + b3prtystrA + u.
Agora a nula é H0: b1 = 1, b3 = 0.
Substituindo a restrição: votoA = b0 +
log(gastoA) + b2log(gastoB) + u.
Agora votoA - log(gastoA) = b0 +
b2log(gastoB) + u é o modelo restrito.
Estatística F: Resumo
Da mesma forma que no teste t, o p-valor
pode ser calculado olhando no percentil da
distribuição F apropriada.
Se apenas uma exclusão está sendo testada,
então F = t2 e o p-valor será o mesmo.