MB751– Modelos de Previsão
Prof. Carlos H. C. Ribeiro
[email protected]
www.comp.ita.br/~carlos
tel. (012) 3947 5895
sala 106 IEC
Aula 2

Introdução a modelos de regressão

Estimadores e suas propriedades

Modelos de regressão a duas variáveis (cont.)

Teorema Gauss-Markov
2
Regressão linear a duas variáveis

Duas variáveis:
 Uma variável independente X
 Uma variável dependente Y

Uma relação (desconhecida, mas assumida linear) entre as
variáveis (Y depende de X)

Um conjunto de observações de valores de X e respectivos
valores de Y (amostras).

Objetivo: achar uma função linear que melhor se ajuste aos
dados X, Y disponíveis
3
Revisitando o exemplo 1
Y (nota média do vestibular)
8.0
6.0
7.0
4.0
6.0
7.0
5.0
5.0
X (salário mensal dos pais em
R$1.000,00)
21
15
15
9
12
18
6
12
nota média no vestibular
Relação nota X renda
10,0
8,0
6,0
4,0
2,0
0,0
0
5
10
15
20
25
salário mensal dos pais
4
Revisitando o exemplo 1: possíveis ajustes (1)
Possibilidade 1: unir o ponto de menor valor de X ao ponto de maior valor de X
Relação nota X renda
nota média no vestibular

10,0
8,0
Qual é o problema
com este método?
6,0
4,0
2,0
0,0
0
5
10
15
20
25
salário mensal dos pais
5
Revisitando o exemplo 1: possíveis ajustes (2)
Possibilidade 2: achar uma boa reta no “olhômetro”
Relação nota X renda
nota média no vestibular

10,0
8,0
Qual é o problema
com este método?
6,0
4,0
2,0
0,0
0
5
10
15
20
25
salário mensal dos pais
6
Revisitando o exemplo 1: possíveis ajustes (3)
Possibilidade 3: achar uma reta que zera a soma dos erros
Relação nota X renda
nota média no vestibular

10,0
8,0
+
+
6,0
+
-
-
Qual é o problema
com este método?
-
4,0
-
-
2,0
0,0
0
5
10
15
20
25
salário mensal dos pais
7
Revisitando o exemplo 1: possíveis ajustes (4)

Possibilidade 4: Achar a reta que fornece o menor erro
quadrático (erro2) em relação aos dados.

Vantagens:
 Penaliza de modo igual erros “para menos” e erros “para mais”
 Penaliza mais erros grandes do que erros pequenos
 Existe um procedimento computacional para achar esta reta: o método
dos mínimos quadrados
8
Regressão linear: mínimos quadrados

Objetivo: achar a relação linear de dependência de Y em
relação a X através da equação da reta Yˆ  bX i  a
que a soma:

N
no. de dados
Y i  Yˆi
tal

2
i 1
dado
ponto da reta
é mínima.
9
Regressão linear: mínimos quadrados
Yˆ  bX i  a
N  X iYi   X i  Yi
b
i
i
N X
i
2
i
i


   X i 
 i

2
Y
a 

i
b
i
N
Xi
 Y  bX
i
N
10
Exemplo 2: revisitando o exemplo 1
Exemplo 2
11
Exercício 1
Você é um secretário do BC de um certo país. Seu assessor lhe passa os seguintes
dados históricos, relativos à quantidade de dinheiro disponível e renda nacional, em
milhões de US$:
Ano
Qtde dinheiro
Renda nacional
1993
2,0
5,0
1994
2,5
5,5
1995
3,2
1996
a)
Represente os pontos em um diagrama
de dispersão.
6,0
b)
Estime e plote a regressão linear.
3,6
7,0
c)
1997
3,3
7,2
1998
4,0
7,7
1999
4,2
8,4
2000
4,6
9,0
Se você tivesse controle sobre a quant.
de dinheiro disponível e desejasse uma
renda nacional de US$ 12.000.000,00
em 2003, em que nível você
posicionaria a quant. de dinheiro?
Explique.
2001
4,8
9,7
2001
5,0
10,0
Exercício 1
12
Conceitos básicos de Estatística

Já vistos em outro curso. Recomenda-se revisar os conceitos
de:
 Variável aleatória
 Valor esperado e variância
 Distribuições conjuntas de probabilidade
 Covariância
 Independência
 Distribuições de probabilidade mais importantes: Normal, 2, t, F
13
Estimadores

Estimação = definir valor de uma grandeza  com base em N
amostras desta.

Exemplo 1a: Qual é a idade média dos alunos de MB751?
 Grandeza a estimar: idade média  da turma.
 Um estimador deve prover um valor aproximado com base em um conjunto
restrito de amostras.
 Para o valor médio de uma distribuição, um estimador “razoável” deve ser a
média da amostra.

Exemplo 1b: Qual é a variância das idades dos alunos de MB751?
 Grandeza a estimar: variância 2 das idades da turma.
 Um estimador deve prover um valor aproximado com base em um conjunto
restrito de amostras.
 Para a variância de uma distribuição, um estimador “razoável” deveria ser a
variância da amostra.
Exemplo 3
14
Características desejáveis dos estimadores (1)

Note que o próprio valor retornado por um estimador depende da amostra, ou seja: é uma
variável aleatória!

Preciso então definir algumas características desejáveis do estimador:
1.
Não-tendenciosidade: O valor esperado do estimador deve ser igual ao valor da grandeza:
A média da amostra é estimador não-tendencioso da média da população:
N
1
X

N
ˆ X 
E ˆ X    X
i
i 1
A variância da amostra não é estimador não-tendencioso da variância da população:
ˆ
2
X

1
N
N
 X
i
X

X

2
 
E ˆ X   X
2
2
i 1
Mas:
ˆ
2
X

1
N 1
N
 X
i
2
 
E ˆ X   X
2
2
i 1
15
Características desejáveis dos estimadores (2)
2.
Eficiência: Um estimador não-tendencioso é dito absolutamente eficiente se,
para um dado tamanho da amostra, sua variância for menor que a de
qualquer outro estimador não-tendencioso:
Normalmente, um estimador pode ou não ser absolutamente eficiente,
dependendo da distribuição.
O que usamos mais é o conceito de eficiência relativa: um estimador nãotendencioso é dito relativamente mais eficiente do que outro se sua variância
for menor.
16
Exemplo

Seja o estimador para a média de uma distribuição: M 1 
2 X1  3X 2
5
ou seja, ou seja, M1 sorteia dois elementos da amostra (X1 e X2) e calcula uma
média ponderada destes. M1 é não-tendencioso?
 2 X 1  3 X 2  2 E  X 1   3E  X 2  2  3
E M 1   E 



5
5
5



Seja o estimador para a média de uma distribuição: M 2 
N
X
i
i 1
N 1
ou seja, M2 é um professor rigoroso: soma N notas e divide por N+1 para calcular
uma nota final... M2 é não-tendencioso?
 N
  Xi

E M 2   E i 1
 N 1











N
 EX 
i
i 1
N 1

N
N 1
OBS : A tendenciosidade (ou viés) é E M 2    
17
N
N 1

Características desejáveis dos estimadores (3)
3.
Erro quadrático médio mínimo (MMSE): Um bom compromisso entre nãotendenciosidade e eficiência!
 
MMSE ˆ  E ˆ  
 
2
   Var ˆ 
 tendenciosidade ˆ
2
18
Exemplo 4

Sejam os estimadores para a média de uma distribuição:
M1 
2 X1  3X 2
M2 
5
X1  X 2
3
Qual dos dois é melhor, pelo critério MMSE?
E M 1   
 2 X 1  3 X 2  4 var X 1   9 var X 2  13 2
varM 1   var



5
25
25


MMSE M 1       
2
13
 
2
25
13
2
25
2
E M 2  
2

3
2 2 1 2 2 2
2

MMSE M 2             
9
9
9
3

 X  X 2  var  X 1   var  X 2  2 2
var M 2   var  1
 

3
9
9


Exemplo 4
19
Características desejáveis dos estimadores (4)
4.
Consistência: Um estimador é consistente se, a medida que a amostra
cresce, o valor estimado vai convergindo para o valor verdadeiro.

lim varˆ   0
lim E ˆ  
N 
N 
20
Voltando ao nosso modelo...

Para um dado valor de X, é possível que exista mais de um
valor de Y.

Exemplo: Padrão de consumo de um indivíduo que recebe R$
30.000,00/ano. Possíveis causas de variação da parcela
associada a alimentação:
 Mudanças de hábito espontâneas (e.g. dieta)
 Mudanças de hábito forçada (e.g. menos tempo para almoço devido à
demanda profissional)
 Sazonalidade (chocolates na Páscoa, panetone no Natal, etc.)
21
O modelo
Uma reta no plano X-Y:
Yi    X i
Modelando a variação:
Yi    X i   i
Y: variável aleatória
X: fixa ou não-estocástica (conhecida)
: erro aleatório (baseado em uma distribuição de probabilidade)
22
O modelo: por que um “erro aleatório”?
Em modelos matemáticos, o erro aleatório é sempre usado para
modelar a ignorância. Em Econometria, a ignorância relaciona-se
com:
 Simplificação excessiva, e.g. considerar preço como único
determinante de uma demanda, ignorando causas secundárias
(gostos, renda da população, etc.).
 Erros não-modelados na obtenção e medida dos dados
Para cada valor de X, uma distribuição de probabilidade para .
Logo: uma distribuição de probabilidade para Y.
23
Modelo estocástico: representação gráfica
Yi    X i   i
Para cada valor de X, uma
distribuição de probabilidade
para .
Y
Logo: uma distribuição de
probabilidade para Y.
Y3
Y2
Y1
X1
.
.
X2
X3
.
Y    X
X
24
24
Formulação homoscedástica do modelo de
regressão linear a duas variáveis
Yi    X i   i
Y: variável aleatória
X: fixa ou não-estocástica (conhecida)
: erro aleatório (baseado em uma distribuição de probabilidade) com:
 Valor esperado nulo e variância constante, independentemente das observações:
E[i] = 0, Var[i] = 2
 Erros de observações sucessivas não são correlacionados: E[i j] = 0
 Distribuição normal
25
Heteroscedasticidade e autocorrelação do erro
Yi    X i   i
Heteroscedasticidade: erro com variância variável, dependente
das observações: E[i] = 0, Var[i] = i2
Autocorrelação: erros de observações sucessivas
correlacionadas: E[i j]  0
Ilustração de alguns exemplos
26
O modelo estocástico e a regressão linear
Vimos um procedimento para achar a melhor reta que modela uma
relação linear entre variáveis X e Y: Mínimos Quadrados.
Mas agora, a relação é probabilística: para um dado X, posso ter mais
de um Y.
Exemplo 5
A reta agora pode variar. O que fazer?
27
Teorema Gauss-Markov
Yˆ  bˆX i  aˆ
O “^” sobre a e b indica que estes agora devem ser
estimadores de a e b. E o que quero, como sempre são bons
estimadores: não-tendenciosos e eficientes.

A boa notícia é o TEOREMA GAUSS-MARKOV: o método dos
mínimos quadrados produz estimadores de a e b que são
BLUE: best linear unbiased estimator.

28
Linear na variável independente (X)
N
 X Y   X Y
b
i
i
i
N
i
i

i

X  

2
i
Y
i

i

X i 

2
X
i
i
a
b
i
i
i
N
N
BLUE
O mais eficiente
(menor variância)
Estimador
Não-tendencioso

E bˆ  b
Eaˆ   a
29
Atividade 1 (Manhã)
Um estudo sobre empresas objetiva determinar a variação dos custos operacionais em função
do tamanho destas. Três análise foram conduzidas independentemente, sendo produzidos os
resultados ilustrados nas tabelas abaixo:
Estudo 1
a)
Custos (em
US$1000,00)
Empresa 1
Empresa 2
Empresa 3
Empresa 4
Empresa 5
3,0
4,5
7,0
11,0
15,0
Empresa 1
Empresa 2
Empresa 3
Empresa 4
Empresa 5
3,2
4,0
9,0
14,0
20,0
Estudo 2
Custos (em
US$1000,00)
Estudo 3
Custos (em
US$1000,00)
Empresa 1
Empresa 2
Empresa 3
Empresa 4
Empresa 5
2,9
5,0
5,5
8,0
26,0
a) Represente os pontos em um
diagrama de dispersão.
Existe heteroscedasticidade?
Justifique.
b) Estime e plote a regressão
linear para cada análise
realizada.
c) Calcule a média e variância
das estimativas para os
coeficientes a e b da
regressão.
30