Análise de Regressão Múltipla
y = b0 + b1x1 + b2x2 + . . . bkxk + u
Inferência
Letícia e Idilio
1
Hipóteses do Modelo Linear
Clássico (MLC)
Dadas as hipóteses de Gass-Markov, o
estimador de MQO é “BLUE”.
Afim de aplicar os testes de hipóteses
clássicos, uma nova hipótese é adicionada
ao modelo (além das suposições de GaussMarkov):

Assumir que u é independente de x1, x2,…, xk e
u segue distribuição normal com média igual a
0 e variância s2. Ou seja, u ~ Normal(0,s2).
2
Hipóteses do MLC (cont.)
Considerando as hipóteses do MLC, o estimador
de MQO não somente é “BLUE”, como também o
estimador não-viesado de menor variância.
As hipóteses do MLC podem ser resumidas por:
y|x ~ Normal(b0 + b1x1 +…+ bkxk, s2).
Há casos em que a hipótese de “normalidade” não
é verdadeira (neste momento, não serão
considerados).
3
Exemplo de normal homoscedástica com uma
variável independente.
y
f(y|x)
.
. E(y|x) = b + b x
0
1
Normais
x1
x2
4
Distribuições amostrais Normais
Considerando as hipótesesdo MLC, condicional aos valores
amostraisdas variáveisindependentes,
bˆ ~ Normalb , Var bˆ

j
P ortanto:
bˆ  b

j
j

j
 
j
~ Normal0,1
ˆ
dp b
 
j
ondebˆ j é normalmente distribuído por ser uma combinação
linear dos erros.
5
Testes de Hipóteses sobre um único
parâmetro: Teste t
Lembrando, modelo populacional pode ser
escrito como:
y =b0 + b1x1 +…+ bkxk + u
A idéia é construir hipóteses sobre o valor
de bj
Utilizar inferência estatística para testar
nossa hipótese.
6
O Teste t
Considerando as hipótesesdo MLC,
bˆ j  b j
~ t n  k 1
ˆ
ep b


 
j
Notarque isto é uma distribuição t (e não uma Normal),
porque s 2 foi estimadoporsˆ 2 .
Notar tamb
ém o grau de liberdade : n  k  1
7
O Teste t (cont.)
Saber essa distribuição amostral do
estimador padrão permite que sejam feitos
testes de hipóteses que envolvem bj.
Começar pela hipótese nula, que é a mais
utilizada.
H0: bj=0.
Dizer que bj=0 significa que xj não tem
efeito em y, controlando os demais x’s.
8
O Teste t (cont.)
Ex:
log(salarioh)= b0 + b1 educ + b2 exper + b3 perm + u
A hipótese nula H0: b2 =0 significa que, se a
educação formal e a permanência foram
consideradas, o número de anos no mercado
de trabalho (exper) não tem nenhum efeito
sobre o salário.
9
Teste t: Hipóteses alternativas
Além da hipótese nula H0, é necessária uma
hipótese alternativa H1 e um nível de
significância.
H1 pode ser unilateral ou bilateral.
H1: bj > 0 e H1: bj < 0 são unilaterais.
H1: bj  0 é a alternativa bilateral.
10
Escolha do nível de significância
Nível de significância: probabilidade de
rejeitar erroneamente Ho quando ela é
verdadeira.
Se o desejável é ter somente 5% de
probabilidade de rejeitar H0 quando ela for
verdadeira, então é dito que o nível de
significância é de 5%.
11
A estatística t
Para determinar se uma hipótese nula H0 deve ser
rejeitada usaremos regras de rejeição junto com a
estatística t.
A estatística t de bˆ j é definida como:
t bˆ 
j
bˆ j
 
ep bˆ j
12
Alternativas unilaterais
Por exemplo, escolhendo um nível de
significância 5%, procura-se pelo 95º
percentil em uma distribuição t com n – k – 1
graus de liberdade. Este valor é chamado de c
(valor crítico).
Se t > c => a hipótese nula será rejeitada.
Se t < c => não é possível rejeitar a hipótese
nula.
13
Alternativas unilaterais (cont.)
yi = b0 + b1xi1 + … + bkxik + ui
H0: bj = 0
H1: bj > 0
Não-rejeitada
Rejeitada
1  a
0
a
c
14
Exemplo:
Retomando o exemplo do salário:
log(salarioh)= b0 + b1 educ + b2 exper + b3 perm + u
log(salarioh)=0,284 +0,092 educ +0,0041exper +0,022 perm
n=526
(0,104) (0,007)
(0,0017)
(0,003)
Ho: b2=0 H1: b2>0
gl: 526-4=522 nível de significância: 1% => c=2,326
t = 0,0041/ 0,0017 =2,41 > 2,326
Logo, exper é estatisticamente significante ao nível de 1%,
rejeitamos então H0.
15
Unilateral X bilateral
Sendo a distribuição t simétrica, testar
H1: bj < 0 é trivial. O valor crítico é o
negativo do valor anterior.
Rejeita-se a hipótese nula se o valor da
estatística t < –c.
Para o caso bilateral, o valor crítico será a/2
e rejeita-se H0: bj = 0 (em favor de H1: bj ≠ 0)
se |t| > c.
16
Alternativa Bilateral
yi = b0 + b1Xi1 + … + bkXik + ui
H0: bj = 0
H1: bj ≠ 0
Não-rejeitada
Rejeitada
Rejeitada
1  a
a/2
-c
0
a/2
c
17
Testando outras hipóteses
Uma forma mais geral da estatística t pode ser
escrita para verificar hipóteses do tipo H0: bj = aj
Neste caso, a seguinte estatística t deve ser usada:
Exemplo 4.5...

bˆ
t=
j
 aj

 
ep bˆ j
onde :
a j = 0 para o testepadrão
18
Calculando os “p-valores” para testes t
Uma alternativa à abordagem clássica é perguntar:
“qual o menor nível de significância no qual a
hipótese nula pode ser rejeitada?”
Para isto, calcule o valor da estatística t e procure
em qual percentil ele se encontra em uma tabela
com a distribuição t apropriada. Este será o “pvalor”.
O “p-valor” é a probabilidade de observar-se o
valor da estatística t, se a hipótese nula for
verdadeira.
19
Calculando os “p-valores” para
testes t
20
Significância x Importância
Significância x Importância
Normalmente, cria-se a hipótese antes de
conhecer os dados.
No caso de amostras pequenas, o erro tende
a ser maior (mais difícil de rejeitar H0).
Nestes casos é normal aumentar o nível de
significância.
21
Intervalos de confiança
Outra forma de utilizar os testes clássicos da
estatística é construir um intervalo de confiança
usando o mesmo valor crítico do teste bilateral.
Um intervalo de confiança de (1 - a)% pode ser
definido como:
 
bˆ j  c * ep bˆ j
 a
onde c é o 1 -  percent ilem uma distribuição t n  k 1
 2
22
Intervalos de confiança
Interpretação:

Se criarmos intervalos de confiança em várias
amostrar aleatórias, o valor real de bj estará
contido no intervalo em (1 - a)% dos intervalos
criados.
Por azar, justamente na amostra que você
tinha disponível, bj não estava contido no
intervalo (o intervalo está errado). Isso
ocorrerá em a% dos casos.
23
Stata: p-valores, testes t etc.
A maioria dos programas estatísticos computam os
p-valores assumindo o teste bilateral.
Se for o caso de um teste unilateral, basta dividir o
p-valor do teste bilateral por 2.
O Stata gera a estatística t, o p-valor e o intervalo
de confiança de 95% para H0: bj = 0, nas colunas
nomeadas “t”, “P > |t|” e “[95% Conf. Interval]”.
Exemplo 4.7
24
Testando uma combinação linear
Suponha que ao invés de testar se b1 é igual a uma
constante, deseja-se testar se b1 é igual a outro
parâmetro, isto é H0 : b1 = b2.
Use o mesmo procedimento para criar a estatística
t:
bˆ1  bˆ2
t=
ep bˆ1  bˆ2


25
Testando uma combinação linear
Dado que




Var bˆ  bˆ  = Var bˆ   Var bˆ  2Covbˆ , bˆ 
epbˆ  bˆ  = epbˆ   epbˆ   2 s 
onde s é uma estimativade Covbˆ , bˆ 
ep bˆ1  bˆ2 = Var bˆ1  bˆ2 , então
1
2
1
2
2
1
2
12
1
1
1
2
2
2
2
12
1
2
26
Testando uma combinação linear
O cálculo de s12 é complicado.
Alguns softwares terão uma opção para
calculá-lo ou para executar o teste
automaticamente, mas nem todos.
Mas....
Há uma alternativa muito mais fácil, basta
reorganizar o problema para obter o teste na
forma necessária.
27
Exemplo:
Suponha que queremos comparar se um ano de
curso superior profissionalizante é equivalente a um
ano de universidade (no salário).
log(salário) =b0 + b1cp + b2univ + b3exper + u
H0: b1 = b2 e H1: b1 < b2
Fazendo H0: q1 = b1 - b2
b1 = q1 + b2, substituindo e rearranjando:
log(salário) =b0 + q1 + b2 cp + b2univ + b3exper + u
28
Exemplo:
log(salário) =b0 + q1 + b2 cp + b2 univ + b3 exper + u
log(salário) =b0 + q1 cp + b2 (cp +univ) + b3 exper + u
log(salário) =b0 + q1cp + b2totalgrad + b3exper + u
=> Notar que agora q1 aparece explicitamente e ep(q1) é
calculado junto com as demais estimativas.
log(salário) =1,472 + 0,0102 cp + 0,0769 totalgrad+ 0,0049 exper
(0,021) (0,0069) (0,0023)
(0,0002)
O modelo modificado é igual ao original, mas agora tem-se
diretamente na saída da regressão o ep(q1).
29
Exemplo (cont.):
Qualquer combinação linear das parâmetros
pode ser testado de maneira similar.
Outros exemplos de hipóteses sobre
combinações lineares simples dos
parâmetros:

b1 = 1 + b2 ; b1 = 5b2 ; b1 = -1/2b2
30
Restrições Lineares Múltiplas
Tudo apresentado até aqui envolvia apenas
o teste de uma única restrição: (i.e. b1 = 0
ou b1 = b2 ).
Porém, pode-se querer testar várias
hipóteses sobre os parâmetros em conjunto.
Um exemplo típico é testar “restrições
excludentes” – um grupo de parâmetros é
todo igual a zero.
31
Restrições Excludentes
A hipótese nula agora será algo como:
H0: bk-q+1 = 0, ... , bk = 0
A alternativa é H1: “H0 não é verdadeira”.
Porque não analisar somente a estatística t de cada
parâmetros em separado? Porque desejamos saber
se os q parâmetros são conjuntamente
significantes dado um nível de significância – é
possível que nenhum seja significante no nível
desejado (e que o grupo seja).
32
Restrições Excludentes (cont.)
É necessário estimar:
“modelo irrestrito” com todas variáveis x1,, …, xk incluídas.
“modelo restrito” sem as variáveis xk-q+1,, …, xk
Queremos verificar se as mudanças em SQR são grandes
suficientes para justificar a inclusão de xk-q+1,, …, xk no
modelo.

SQRr  SQRir  q
F
SQRir n  k  1
Onde:
r é o modelo restrito
ir é o irrestrito
q = números de restrições, ou glr – glir
n – k – 1 = glir
33
A estatística F
É sempre positiva, dado que sempre SQR do
modelo restrito >= SQR do modelo irrestrito.
Essencialmente, é uma medida do crescimento
relativo de SQR quando saímos do modelo
irrestrito para o modelo restrito.
Se o crescimento de SQR, quando mudamos de
modelo, for “grande o suficiente” podemos rejeitar
a exclusão das variáveis.
34
A estatística F (cont.)
f(F)
Rejeite H0 com
nível de
significância a se
F>c
Não-rejeitada
a
1  a
0
c
Rejeitada
F
35
Exemplo:
Modelo original (irrestrito):
log(salário) =b0 + b1anos + b2jogosanos + b3medreb + b4rebpontos+ b5rebcorrida+ u
n=353
SQR=183,186
Testar se as estatísticas que medem desempenho: medreb,
rebpontos e rebcorrida não tem efeito sobre salário
=> Ho=b3=0, b4=0, b5 =0
Modelo restrito:
log(salário) =b0 + b1anos + b2jogosanos +u
n=353
SQR=198,311
36
Exemplo(cont.):
Assim:
198,311 183,186 347
F
*
= 9.55
183,186
3
Com 347 graus de liberdade, o valor crítico a 1% de
significância é c= 3,78
F > 3,78, portanto rejeitamos completamente a hipótese
de que medreb, rebpontos e rebcorrida não tem efeito
sobre salário .
37
A forma
2
R
da estatística F
Dado que os SQRs dos modelos podem ser grandes e de
manipulação difícil, uma alternativa de formulação é útil
neste caso.
Usando o fato que SQR = SQT(1 – R2) para qualquer
regressão, pode-se substituir SQRr e SQRir
R

 Rr2 q
F
,
1  R n  k  1

2
ir
2
ir

onde, novamente,
r é o modelorestrito
ir é o modeloirrestrito
38
Significância completa
Um caso especial de restrições excludentes é testar
H0: b1 = b2 =…= bk = 0
Dado que o valor R2 de um modelo somente com
intercepto será zero, o valor da estatística F é simplificado
para:
2
R k
F=
2
1  R n  k  1


39
Restrições Lineares Gerais
A forma básica da estatística F funcionará para
qualquer conjunto de restrições lineares.
Inicialmente, estime o modelo irrestrito e então
estime o modelo restrito.
Em cada caso, guarde o valor de SQR.
Impor as restrições pode ser complicado, será
necessário redefinir as variáveis novamente.
Não usar a versão R2 neste caso.
40
Exemplo:
Gastos implicam votos?
O modelo:
voteA = b0 + b1log(expendA) + b2log(expendB) + b3prtystrA + u
H0: b1 = 1, b3 = 0
Substituindo as restrições:
voteA = b0 + log(expendA) + b2log(expendB) + u
Usa-se:
voteA - log(expendA) = b0 + b2log(expendB) + u
como modelo restrito.
41
Resumo da estatística F
Assim como no caso da estatística t, os p-valores
podem ser calculados procurando o percentil na
tabela da distribuição F adequada.
O Stata gerará estes valores com o comando:
“display fprob(q, n – k – 1, F)”
onde os valores apropriados de “F”, “q” e “n – k
– 1” devem ser usados.
Se somente uma exclusão está sendo testada, então
F = t2 e os p-valores serão exatamente os
mesmos.
42