Regressão Linear
Aula 09
Prof. Christopher Freire Souza
Centro de Tecnologia
Universidade Federal de Alagoas
www.ctec.ufal.br/professor/cfs
2
Christopher Souza:
Regressão Linear
Objetivos
• Desenvolver habilidades para avaliar a
linearidade da relação entre variáveis
• Desenvolver habilidades para sugerir equação
para previsão de valor de uma variável a partir
de outra(s) de mais fácil mensuração
3
Christopher Souza:
Regressão Linear
Relevância do conteúdo
• Regressão é aplicada para estimar como se relacionam
variáveis tendo em vista a observação de sua variação
conjunta
• É de especial interesse realizar previsões de valores de
variáveis de difícil mensuração quando outras
relacionadas e de mais fácil mensuração são conhecidas
4
Christopher Souza:
Regressão Linear
Conteúdo
•
•
•
•
•
Correlação linear
Regressão linear simples
Avaliação da regressão linear simples
Regressão linear múltipla
Avaliação da regressão linear múltipla
5
Christopher Souza:
Regressão Linear
Correlação linear
• Mede o grau de
variação conjunta
de duas variáveis
• Diagramas de
dispersão
• Não
necessariamente
causa e efeito
• Possibilidade de
linearidade por
trechos
(segmentação)
6
Christopher Souza:
Regressão Linear
Correlação linear
• Correlações espúrias
7
Christopher Souza:
Regressão Linear
Correlação linear (Teste de hipótese)
• H0: r=0
• H1: r≠0
• Estatística de teste
• H0: r=r0
• H1: r≠r0
• Estatística de teste
• Rejeita-se a hipótese nula se:
• Rejeita-se a hipótese nula se:
• Intervalo de confiança
• MATLAB: corr ou corrcoef
8
Christopher Souza:
Regressão Linear
Regressão linear simples
• Equação de regressão
• Método dos mínimos quadrados
▫ Considerando para cada ponto a
relação
▫ O método consiste em estimar
valores dos parâmetros que
resultem em
▫ Para isso, estima-se a e b via
▫ Resultando em:
9
Christopher Souza:
Regressão Linear
Regressão linear simples
(funções linearizáveis)
10
Christopher Souza:
Regressão Linear
Regressão linear simples
(Hipóteses básicas)
• Aleatoriedade, independência e homogeneidade de séries
• Lineariedade entre variáveis
• Aleatoriedade, independência, normalidade e homoscedasticidade
(VAR(ei)=cte) dos resíduos
11
Christopher Souza:
Regressão Linear
Regressão linear simples
(Avaliação)
• Erro Padrão
12
Christopher Souza:
Regressão Linear
Regressão linear simples
(Avaliação)
• Erro Padrão
▫ Regressão aceitável:
 0<se<sy
• Coeficiente de determinação
▫ SQDR/SQRM
• Intervalos de confiança para
coeficientes
• para
n
SQ
QM
F
2
ˆ


y

media
i1 i
i
SQDR
QMDR/
QMRR
DR
1
RR
n-2
2
ˆ


y

y
i 1 i i
SQRR/
(n-2)
RM
n-1
2
i1  yi  media i 
SQRM/
(n-1)
n
n
n
p
13
Christopher Souza:
Regressão Linear
Regressão linear simples
(Avaliação)
• H0: b=0
• H1: b≠0
• Estatística de teste
• Rejeita-se a hipótese nula se:
• Avaliação de b pode ser
realizada via intervalo de
confiança
14
Christopher Souza:
Regressão Linear
Regressão linear simples
(Avaliação)
• Intervalo de confiança para a
linha de regressão num ponto
xj
• Intervalo de confiança para
um valor previsto num ponto
xj
15
Christopher Souza:
Regressão Linear
Regressão linear múltipla
• Linearidade entre variável dependente (Y) e variáveis
independentes (Xi)
• Equação de regressão
• Abordagem matricial
• Estimação de parâmetros (bi)
• Somatório dos quadrados
SQRM
SQDR
SQRR
16
Christopher Souza:
Regressão Linear
Procedimentos
• Separar conjunto de dados para validar (¼) equação “calibrada”
(¾)
• Montar matriz de correlações para avaliar linearidade em relação à
variável dependente e colinearidade entre variáveis independentes
▫ MATLAB: plotmatrix
• Identificar um máximo de variáveis explicativas não-colineares e
que apresentem correlação linear à variável dependente de forma a
ter 3 ou 4 vezes o número de observações em relação ao número de
variáveis explicativas
• Escolher entre fazer
▫ Regressão de todas as equações possíveis
 Fazer regressão com todas as variáveis escolhidas
▫ Regressão passo-a-passo (step-wise)
 Incorporação de variáveis uma-a-uma em função da correlação e teste
F parcial
 MATLAB: stepwise; stepwisefit
17
Christopher Souza:
Regressão Linear
Regressão linear múltipla
(Avaliação)
• Multicolinearidade
▫ 2 ou mais preditores são
altamente correlacionados
(|r|>0,85)
▫ Grandes mudanças nos
coeficientes da regressão
quando um preditor é
adicionado
▫ Coeficiente de determinação
apresenta melhoria
insignificante, embora
insignificância da regressão
seja rejeitada
• Erro Padrão
18
Christopher Souza:
Regressão Linear
Regressão linear simples
(Avaliação)
• Coeficiente de determinação
• Erro Padrão
▫ SQDR/SQRM
▫ Regressão aceitável:
 0<se<sy
n
DR
p
RR
n-p-1
RM
n-1
SQ
QM
F
QMDR/
QMRR
p
19
Christopher Souza:
Regressão Linear
Regressão linear múltipla
(Avaliação)
•
•
•
•
H0: b1=b2=…=bp=0
H1: bi≠0
Estatística de teste (F)
Rejeita-se a hipótese nula se:
• Coeficiente de determinação
ajustado
20
Christopher Souza:
Regressão Linear
Regressão linear múltipla
(Avaliação de partes)
• SQDRXk=SQDRX-SQDRX-Xk
▫ Xk: efeito da inclusão da
variável Xk
▫ X: regressão considerando
todas as variáveis inclusive
Xk
▫ X-Xk: regressão com todas
antes de incluir Xk
• H0: Xk não melhora
significativamente o modelo
• H1: Xk melhora
significativamente o modelo
• Estatística de teste:
• Rejeita-se a hipótese nula se:
• Coeficiente de determinação
parcial
21
Christopher Souza:
Regressão Linear
Regressão linear múltipla
(Avaliação)
•
•
•
•
Teste do valor de parâmetros
H0: b1=b0
H1: b1≠b0
Estatística de teste
▫ onde
▫ sendo
o i-ésimo elemento
da diagonal de
• Rejeita-se a hipótese nula se:
• Intervalo de confiança para os
coeficientes de regressão
22
Christopher Souza:
Regressão Linear
Regressão linear múltipla
(Avaliação)
• Intervalo de confiança para a
linha de regressão num ponto
Xj
• Intervalo de confiança para
um valor previsto num ponto
Xj