Geometria dos mínimos quadrados
Renato Assunção
DCC-UFMG
Produção numa unidade da Itambé
Y = óleo consumido no mes
 X1 = qte de acido graxo consumido
 X2 = glicerina fabricada
 X3 = numero de dias do mês
 X4 = numero de dias operacionais
 X5 = Dias abaixo de 32 graus
 X6 = temperatura media do mes

Usando apenas Y=oleo e x=temp
Gráfico de óleo x temperatura

Y = Óleo
consumido

X = temperatura

Clara relação
linear
Dados americanos aqui
Modelo de regressão

Cada valor Yi de oleo consumido e’
igual `a soma de dois componentes:
– Um componente que e’ uma reta
desconhecida
– Um erro (desconhecido) em relacao a esta
reta
Yi = β0 + β1 xi + εi
 Onde xi e’ a temperatura no dia i
 εi e’ o erro no dia i

Dos pontos para um sistema linear
Definições


Y e’ vetor em R25
X e’ matriz 25 x 2
Queremos Y ≈ Xβ
Ou então
Y = Xβ + ε onde ε e’ pequeno
Mas o que significa ter ε pequeno: e’ um vetor...
Operações matriciais
Operações matriciais
Em geral, temos:
OBS: SEMPRE INVERSIVEL SE OS x’s não forem todos iguais
Mais uma operação
Retas demais, infinitas retas
Queremos uma reta que fique bem
proxima de todos os pontos.
 Uma reta que fica proxima de UM
ÚNICO PONTO (digamos o i-esimo
ponto) e’ uma reta em que
 εi = Yi – ( β0 + β1 xi ) ≈ 0
 Mas queremos que isto seja verdade
para TODOS OS PONTOS.

Caminhando...
Isto e’, queremos que
 εi = Yi – ( β0 + β1 xi ) ≈ 0 para todo i
 Podemos então pedir que a soma de todos
os | εi | ≈ 0.



Isto e’, pedir que Σi | εi | ≈ 0 (e’ sempre > 0).
Uma solução: achar a reta que minimiza
Mínimos quadrados
Na verdade preferimos trabalhar com
a soma dos QUADRADOS e não com a
soma dos VALORES ABSLOUTOS
 Encontre β0 e β1 que minimizem


A razão e’ que a função quadrática e’
derivável no seu ponto de mínimo
Quadrado ou valor absoluto?

Media amostral de vetor
o valor
e’

A media amostral de x e’ o numero μ
que minimiza
Quadrado ou valor absoluto?

Mediana amostral de vetor
– Ordene os numeros.
– Se n for impar, pegue o valor do meio.
– Se n for par, pegue a media dos dois
centrais

A mediana amostral de x e’ o numero
μ que minimiza
De equações para matriz

Pode-se mostrar que a solução de
mínimos quadrados
Pode ser escrita de forma matricial como
o vetor β = (XtX)-1 XtY
 Esta forma pode ser generalizada e gera
interpretação geométrica

Sejam
 Observe que

e
E’ uma combinação linear das duas
colunas x e 1 da matriz X
 Matriz = maiúsculo e coluna =minúsculo

Procurando por ...
Nosso problema então e’ encontrar a
combinação linear das duas colunas
da matriz X que minimiza a distancia
entre os vetores Y e Xβ
 E isto vale sempre, mesmo que
tenhamos varios fatores preditivos!!
 Vamos ver nosso exemplo com mais
variáveis

Regressão múltipla
Xb e’ uma combinação linear das colunas de X
Queremos minimizar
Espaço vetorial
das colunas de X
O que queremos?
Queremos o vetor do espaco C(X)
das colunas de X que seja o mais
proximo de Y
 Distancia = distancia euclidiana
 |Y – Xb|2 deve ser minimo
 Este vetor Xb que minimiza e’ a
projecao ortogonal de Y em C(X)
 E’ o único vetor Xb tal que Y-Xb e’
ortogonal a Xb

Espaço C(X) das colunas de X
Ddddddddddddddddddddd
kkkkkkkkkkk
Equações normais

Assim, temos
portanto
β = (XtX)-1 XtY

E’ a solução.
=0e