Quadrados Mínimos
Situação
 Em diversas ciências com uma dimensão
experimental, é necessário modelizar os
fenômenos a partir de tabelas de dados
experimentais.
 A modelização consista em inúmeros casos
em procurar a função que expressa melhor a
relação entre os dados.
Problema
 O objetivo do método de mínimos quadrados é
determinar uma função, a partir de combinação
linear de funções simples, que aproxima um
conjunto de pontos.
 Existem métodos polinomiais (aproximação com
polinômio), mas elas não sempre fornecem
aproximações aceitáveis. O método de mínimos
quadrados permite estender as aproximações com
funções não polinomiais.
Exemplo 1
Esse conjunto de pontos aparece como uma parabola.
Exemplo 2
Caso discreto
 A partir de uma tabela de valores (discretas),
que representam vários pontos de uma
função teórica (f(x)), tentamos determinar
uma função j(x) combinação linear de
funções gi(x) (j(x)=a1g1(x)+...+angn(x)) de
tal forma que o desvio de j - f seja mínimo
para os valores da tabela.
 O que significa mínimo nesse caso?
Caso contínuo
 No caso contínuo, dada uma função f(x)
contínua no intervalo [a,b] e escolhidas as
funções g1(x), .., gn(x), o objetivo é
determinar constantes a1, ..., an de tal forma
que j(x)=a1g1(x)+...+angn(x) se aproxima ao
maximo de f(x) no intervalo [a,b].
 O que significa aproximar nesse caso?
Método dos quadrados mínimos
 Caso discreto


Considerando um conjunto de valores {(x1,f(x1)), ...,
{(xm,f(xm))} e n (com nm) funções gn(x), o objetivo
é encontrar um conjunto de coeficientes a1, .., an de
tal forma que a função j(x)=a1g1(x)+..+angn(x) se
aproxima ao máximo de f(x).
O criterio para decidir da aproximação é minimizar a
soma dos quadrados da diferencia entre as duas
m
funções nos xi ou seja minimizar: ( f ( x )  j ( x )) 2

i 1
i
i
Método dos quadrados mínimos
 Caso discreto
 Minimizar  ( f ( x )  j ( x )) é minimizar a função:
n
2
i
i 1
i
m
F (a1 ,...,a n )   ( f ( xi )  a1 g1 ( xi )  ...  a n g n ( x)) 2
i 1

Para minimizar essa função F, devemos
encontrar os pontos críticos da função, ou seja os
valores (a1,...,an) tal que:
F
(a1 ,...,a n )  0, para i  1, 2,..., n
ai
Método dos quadrados mínimos
 Caso discreto
Elemento de calculo:
m
F
(a1 ,...,a n ) 
a j
  ( f ( xi )  a1 g1 ( xi )  ...  a n g n ( x)) 2
i 1
a j
Para derivar, considerando os termos com ai:
m
  ( A( xi )  a j g j ( xi )) 2
i 1
a j
, com A( xi )  f ( xi ) 
k n, k  j

k 1
a k g k ( xi )
Método dos quadrados mínimos
 Caso discreto
Elemento de calculo:
m
  ( A( xi )  a j g j ( xi )) 2
i 1
a j
m
 2 g j ( xi )( A( xi )  a j g j ( xi )) 
i 1
m
2 g j ( xi ) f ( xi )  a1 g j ( xi ) g1 ( xi )  ...  a n g j ( xi ) g n ( xi ) 
i 1
m
m
m
i 1
i 1
i 1
2 g j ( xi ) f ( xi )  a1  g j ( xi )g1 ( xi )  ...  a n  g j ( xi )g n ( xi )
Método dos quadrados mínimos
 Caso discreto
F
(a1 ,...,a n )  0, para i  1, 2,..., n
ai
Com a condição:
obtemos assim o sistema a resolver:

m
m
 m
[ g1 ( xk ) g1 ( xk )]a1  ... [ g n ( xk ) g1 ( xk )]a n   f ( xk ) g1 ( xk )
k 1
k 1
 k 1
m
m
 m
[ g1 ( xk ) g 2 ( xk )]a1  ... [ g n ( xk ) g 2 ( xk )]a n   f ( xk ) g 2 ( xk )
 k 1
k 1
k 1
....

m
m
 m
[ g1 ( xk ) g n ( xk )]a1  ... [ g n ( xk ) g n ( xk )]a n   f ( xk ) g n ( xk )
k 1
k 1
 k 1
Método dos quadrados mínimos
 Caso discreto

As equações desse sistema são chamadas
equações normais. Ele pode ser escrito:
 a11 x1  a12 x2  ....  a1n xn  b1
 a x  a x  ....  a x  b
 21 1 22 2
2n n
2

............................................
 an1 x1  an 2 x2  ....  ann xn  bn
n


n
Onde aij   g j ( xk )gi ( xk )  a ji e bi   f ( xk ) gi ( xk )
k 1
k 1
A matriz desse sistema é simétrica.
Método dos quadrados mínimos
 Caso discreto

Considerando os vetores gi (gi (x1),...,gi (xm)) e
f (f(x1 ),...,f(xm )) e o produto escalar de dois vetores: m
x , y i   xi yi
Os coeficientes aij podem ser escritos:
a ij = gi ,g j e bi: bi = f,gi
k 1
Demontra-se que se as funções g1(x),...,gn(x) forem tais que
os vetores: g1 ,..., gn sejam linearmente independentes, o
sistema admite uma solução única. Demonstra-se
também que esta solução é o ponto em que a função F
atinge seu valor mínimo.
Método dos quadrados mínimos
 Caso discreto

Se os vetores tiverem a propriedade suplementar
seguinte:
 0, i  j , nesse caso os vetores
gi , g j : 
 0, i  j
são ortogonais entre si e a matriz A do sistema é
diagonal.
Exemplo de funções ortogonais: seria de Fourier
(aproximação de funções periódicas), polinômios
de Legendre, Gram, Chebyshev.
Método dos quadrados mínimos
 Caso contínuo

Para aproximar uma função em um intervalo
[a,b] com j uma combinação linear de funções
(g1,...,gn) de coeficientes (a1,...,an), o método de
quadrados mínimos propõe de minimizar a área
entre as curvas das duas funções, ou seja
minimizar: b
2
 ( f ( x)  j ( x)) dx
a
Método dos quadrados mínimos
 Caso contínuo

Aplicando o mesmo princípio que no caso
discreto, trata-se de minimizar
a função:
b
F (a1 ,...,an )   ( f ( x)  j ( x))2 dx
a
Obtemos um sistema de equações lineares:
Aa=b, onde A=(aij), a=(a1,...,an) ea b=(b1,...,bn).
aij=<gi,gj> e bi=<f,gi> com gi , g j   gi ( x) g j ( x)dx

a
Método dos quadrados mínimos
 Caso não linear


Existem casos que precisam ser aproximados por
funções que não são resultados de combinação
linear de funções simples.
Por exemplo, podemos precisar de aproximar
uma função com: a1ea x
2
Método dos quadrados mínimos
 Caso não linear


Para resolver o caso não linear, é necessário
linear a função escolhida para a aproximação.
No caso de a1ea x , se queremos aproximar f(x)
com essa função, podemos tentar aproximar
ln(f(x)) com ln(a1ea x ), ou seja ln(a1 )  a2 x, que é
um caso linear.
É importante notar que os parâmetros obtidos
não são ótimos em relação com o critério de
quadrados mínimos.
2
2

Método dos quadrados mínimos
 Teste de alinhamento

Uma vez a função não linear em a1,..,an
escolhida, para testar se ela é um bom escolhe
podemos:
Linearizar essa função,
 Fazer o diagramo de dispersão dos novos dados
 E observar se os pontos do diagramo estiverem
alinhados.

Exercício
A tabela abaixo mostra as alturas e pesos de uma amostra de nove homens
entre as idades de 25 e 29 anos, extraída ao acaso entre funcionários de
uma grande indústria:
Altura 183 173 168 188 158 163 193 163 178 cm
Peso
a)
b)
c)
79
69
70
81
61
63
79
71
73
Faça o diagrama de dispersão dosdados e observer que parece existir
uma relação linear entre a altura e o peso.
Ajuste a reta que descreva o comportamento do peso em função da
altura, isto é peso=f(altura), e ajuste a reta que descreva o
comportamento da altura em função do peso, isto é altura=f(peso).
Estime o peso de um funcionário com 175 cm de altura; e estima a
altura de um funcionário com 80kg com cada uma das duas equações.
kg
Solução
b) 52.7570x-20.0780 e 0.0159+0.6029
c) Com o primeiro ajuste: 1.75->72.2467 e
80kg->1.897
Com o segundo ajuste: 1.75->72.14 e
80kg->1.871
Exercício
 Ajuste os dados:
x
-8 -6 -4 -2 0
2
4
y
30 10 9
4
4
6
5
a) Usando a aproximação y1/(a0+a1x). Faça o
gráfico para 1/y e verifique que esta aproximação
é viável;
b) Idem para yabx;
c) Compare os resultados
Solução
 y=1/(0.1958+0.0185x)
 y=5.5199(0.8597)x