Aula 10. Regressão Linear
Múltipla.
1. C.Dougherty “Introduction to Econometrics”
2. Capítulo 16. Bussab&Morettin “Estatística Básica” 7ª Edição
Regressão linear simples - Resumo
Modelo
yi     xi   i
E[ yi ]     xi  E[ yi | xi ] yi  E[ yi | xi ]   i
 i  N (0,  2 )
 i  N (0,  2 )
1. Saber como obter fórmulas para coeficientes de regressão pelo método de
mínimos quadrados. Lembrar fórmulas
b  Cov( y, x) / Var( x)
a  y  bx
2. Interpretação de coeficientes: sempre para b (“x aumenta em 1 – y aumenta
(diminue) em b”)
3. T-teste para coeficientes, intervalo de confiança.
H 0 :   0
H0 :   0
b  0
 tn2
s.e.(b)
b
 tn2
s.e.(b)


IC1 (  )  b  t 
s.e.(b)
1 ; n  2
2


4. F-teste para regressão: saber definição de R2 e realizar teste
R 
2
SSR eg
SSTotal
Var (e)
 1
Var ( y )
R2
F
 F1,n2
2
(1  R ) /(n  2)
5. Transformação de variáveis, logaritmica, interpretação de coeficientes
(tendência exponencial, elasticidade)
 y   y1   y2 
y 
  =  ,  ,  ,  n 
 x   x1   x2 
 xn 
população
 y   y1   y2 
 yn 
  
 



 x1  =  x11 ,  x12 ,  ,  x1n 
x  x  x 
x 
 2   21   22 
 2n 
MODELO
MODELO
y    x  
y    1 x1   2 x2  
yi     xi   i
yi    1 x1i   2 x2i   i
 i  N (0,  2 )
 i  N (0,  2 )
i  1,2,  , n
i  1,2, , n
Modelo com k explicativas
y    1 x1     k xk  
Regressão bi-dimensional
MODELO
y    1 x   2 p  
y (food)

efeito puro de salario
  1 x
efeito puro de preço
  2 p
efeito conjunto de preço e salario
  1 x   2 p
p (preço)
x (salario)
Regressão bi-dimensional
Consideramos o seguinte exemplo: para os anos 1959-1983 o gasto total em alimentos
(y) em E.U. com salario liquido (x) e preços (p) deu a seguinte regressão.
y = 116.7 + 0.112 x – 0.739 p
(s.e.) (9.6) (0.003) (0.114)
R2=0.99
y e x são medidas em $ bilhões no nível de preços em 1972, e p é índice relativo de
preços calculado dividindo deflator implícito de preços em alimentos pelo deflator
implícito para gasto total, com base de calculo 1972 = 100, e multiplicando por 100.
A equação tem que ser interpretada em seguinte maneira. Para cada incremento em $
bilhão em renda, deixando preços em nível constante, gastos em alimentos aumentam
em $ 112 milhões. Em cada incremento em um ponto de índice p, mantendo o salario
constante, os gastos diminuem em $ 739 milhões
Regressão bi-dimensional Método mínimos quadrados
n
n
n
2
ˆ
e

(
y

y
)

(
y

(
a

b
x

b
x
))
 SS(a, b1 , b2 )  min

 i i
 i
1 1i
2 2i
i 1
2
i
2
i 1
i 1
 SS ( a, b1 , b2 )
0

a
 SS ( a, b , b )
1
2

0

b1

 SS ( a, b1 , b2 )  0

b2

 n
  ( yi  (a  b1 x1i  b2 x2i ))  0
 in1
 x ( y  (a  b x  b x ))  0
1 1i
2 2i
 1i i
 i 1
 n
 x2i ( yi  ( a  b1 x1i  b2 x2i ))  0
 i 1
a  y  b1 x1  b2 x2
b1 
Cov( x1 , y )Var ( x2 )  Cov( x2 , y )Cov( x1 , x2 )
Var ( x1 )Var ( x2 )  [Cov( x1 , x2 )]2
Cov( x2 , y )Var ( x1 )  Cov( x1 , y )Cov( x1 , x2 )
b2 
Var ( x1 )Var ( x2 )  [Cov( x1 , x2 )]2
Regressão bi-dimensional
A regressão múltipla pode discriminar os efeitos de variáveis explicativas, tomando em
consideração fato que variáveis explicativas podem ser correlacionadas. Coeficiente de
cada variável x estima a influência dessa variável em variável dependente y,
controlando os efeitos de outras variáveis.
Isso pode ser mostrado do jeito seguinte: estimamos coeficiente em regressão
y conta x1, mas o x1 tem que ser “limpo” da parte da variável x2
MODELO
y    1 x1   2 x2  
supomos que coeficientes 𝛽1 e 𝛽2 são
positivos e correlação entre x1 e x2
é positivo
o que acontece se a gente faça a
regressão entre y e x1, esquecendo
a variável x2, supondo que o modelo
real é bidimencional?
y
efeito direto
de x1 mantendo
x2 constante
x1
efeito direto
de x2 mantendo
x1 constante
efeito aparente
de x1 que atua
como imitador
para x2
x2
Regressão bi-dimensional
separamos x1 em duas partes
ˆ1
x1  x1  x
y
xˆ1 atua como imitador de x2 ( xˆ1  c  dx2 )
ˆ1 )
x1 atua “independente” de x2 ( x1  x1  x
y  a  b1 x1
y  a  b1 x1  b2 x2
b1  b1
xˆ1
x1
y  a  b1 x1
y
x1
b1
b2
d
x1
x2
x2
Regressão multi-dimensional
y  x1 , x2 ,, xk
t-teste
a 
 t n  k 1
s.e.(a )
bi   i
 t n  k 1
s.e.(bi )
H 0 : i  
H 0 : i  0
F-teste
R2 / k
F
 Fk ,nk 1
2
(1  R ) /(n  k  1)
Testa hipótese
H 0 : 1  2    k  0
Regressão multi-dimensional
y    1 x1   k xk  
SSErro (k )
y    1 x1   k xk  k 1 xk 1   m xm   SSErro (m)
SSErro (k )  SSErro (m)
F
( SSErro (k )  SSErro (m)) /(m  k )
 Fm k ,n  m1
SSErro (m) /(n  m  1)
H 0 :  k 1     m
R2 ajustado
SSErro (k )  SSErro (m),
mk
 R 2 (k )  R 2 (m),
mk
Como recompensar o aumento automatico de R2
na hora de adicionar as novas variáveis?
2
Radj
 1  (1  R 2 )
n 1
m
 R2  R2
n  m 1
n  m 1