UFPB – PRG _____________________________________________________________X ENCONTRO DE INICIAÇÃO À DOCÊNCIA 4CCENDMMT02 MÉTODO DOS MÍNIMOS QUADRADOS (1) (3) Vivyane Coelho Caires , Hélio Pires de Almeida Centro de Ciências Exatas e da Natureza/Departamento de Matemática/MONITORIA Resumo: Geralmente aplicações de Álgebra Linear envolvem sistemas de equações lineares inconsistentes da forma Ax = b, onde A é uma matriz mxn, x Nesses Rn e b Rm . casos, o Método de Mínimos Quadrados (MMQ) determina um vetor x Rn que mais se aproxima de x no seguinte sentido: a) x = projw(x), onde W é o espaço coluna de A. b) e o vetor­erro, ||e|| = ε1 2 2 2 ε2 ε3 , seja o menor possível. tal que Ax esteja o mais próximo possível de b, ou seja, por mínimos quadrados encontramos a curva mais próxima da curva original, ou ainda, encontramos uma solução que melhor se aproxima do sistema. Palavras­chaves: Mínimos quadrados, teorema da melhor aproximação e pseudo­inversa de uma matriz. Introdução: Em 01 de janeiro de 1801, Ceres, um novo asteróide, foi descoberto, mas desapareceu atrás do sol logo depois de ser observado. Astrônomos previram quando e onde Ceres reapareceria, mas seus cálculos diferiram muito daqueles feitos, independentemente, por Gauss. Ceres reapareceu em 07 de dezembro de 1801, quase exatamente onde Gauss predisse que ele estaria. Apesar de não ter revelados seus métodos naquela época, Gauss havia usado o mét odo de aproximação por mínimos quadrados, o qual ele descreveu em um artigo em 1809. O mesmo método já era conhecido antes. Cotes introduziu­o no começo do século XVIII e Lagendre em 1806 publicou um artigo sobre o mesmo. Mas Gauss é quem, geralmente, recebe os créditos pelo método de aproximação por mínimos quadrados. O MMQ é um procedimento utilizado para obter a melhor reta que pode ser ajustada aos dados utilizados. Sabemos que uma das mais importantes aplicações do MMQ é estimar constantes associadas a vários processos, como, a taxa de crescimento de uma população, que é um dos exemplos que veremos no decorrer deste trabalho, bem como conceitos, teoremas e outros exemplos do uso do MMQ. Neste trabalho veremos como encontrar a curva que melhor se ajusta a curva original e aprenderemos mais sobre seus conceitos. As curvas mais comuns utilizadas por este método são: reta, parábola, cúbica e quártica. Teorema da melhor aproximação: Definição: Se W é um subespaço de um espaço linear normado V e se v é um vetor em V, então a melhor aproximação para v em W é o vetor v em W tal que: ||v – v|| < ||v – w|| para todo vetor w em W diferente de v. _________________________________________________________________________________________________________________________________________________________ (1) (2) (3) Monit or(a)Bolsista; Monitor(a) Voluntári o(a); Prof(a) Orientador(a)/Coordenador(a).
UFPB – PRG _____________________________________________________________X ENCONTRO DE INICIAÇÃO À DOCÊNCIA Fonte: Poole, David, Álgebra Linear, editora THOMSON,2004. Algebricamente, no R2 ou , a “menor distância” está relacionada com a noção de R3 projeção ortogonal. Se W é um subespaço de e v um vetor em então esperamos Rn
Rn , que projw(v) seja o vetor em W que está mais próximo de v. Se v = projw(v), então ||v – v|| < ||v – w|| w ≠ v ­ Teorema: Se W é um subespaço de dimensão finita de um espaço V com produto interno e se v é o vetor em V, então proj w(v) é a melhor aproximação de v em W. Demonstração: seja w um vetor em W diferente de proj w(v). então proj w(v) – w também está em W, e v – projw(v) = perpw(v) é ortogonal a projw(v) – w. Por Pitágoras temos: 2 2 2 ||v – projw(v)|| + ||projw(v) – w|| = ||(v – proj w(v)) + (proj w(v) – w )|| 2 = ||v – w|| 2 5 3 Exemplo1: sejam u 1 = 4 , u 2 = ­2 e v = 1 . Encontre a melhor aproximação ­2 1 1 para v no plano W = ger(u1, u2) e calcule a distância euclidiana de v até W. Solução: projw(v) = u 1.v u 2.v u + u
u 1.u 1 1 u 2.u 2 2 2 5 3 1 7 __ __ 2 __ 4 + ­2 = 5 3 15 ­2 1 __ ­1 5 A distância de v até W é a distância de v até um ponto de W que está mais próximo de v. Assim: 3 3 0 12 ­2 __ ­ __ = 5 v – projw(v) = 2 5 1 24 __ __ 2 5 5 333 ____ 2 2 2 3 6 ||v – projw(v)|| = 0 + + = = 1,22 essa é a distância de v até W. 225 15 5 ( ) ( ) Método de aproximação por mínimos quadrados: Esse método nos permite achar a curva que “melhor se ajusta” ao conjunto dos pontos dados. “Melhor se ajusta” significa pegar a curva mais próxima dos pontos da curva original. A distância de cada ponto à reta aproximada é denominada de erro e a escolha dessa reta é dada de acordo ao menor erro total. Exemplo2: Encontre a curva que melhor se aproxima dos pontos: (1,2), (2,2) e (3,4). Solução: pela equação da reta, temos que y = a + bx e substituindo nos pontos: 2 = a + b 1 1 2 a 2 = a + 2b ou, 1 2 = 2 b 4 = a + 3b 1 3 4 Esse sistema é impossível, logo devemos pegar uma curva que melhor se ajuste aos pontos dados. O vetor­erro será: e = ε1 ε 2 , com ε1, ε2 e ε3 erros na direção y. ε 3 Sabemos que devemos minimizar ao máximo possível o erro total, então isso significa que e é próximo de zero. Usando a norma euclidiana temo: ||e|| = 2 2 2
ε1 ε2 ε3 UFPB – PRG _____________________________________________________________X ENCONTRO DE INICIAÇÃO À DOCÊNCIA Ao ||e|| damos o nome de erro quadrático mínimo da aproximação. Graficamente: Fonte: Poole, David, Álgebra Linear, editora THOMSON,2004,pág. 522. Olhando para o gráfico acima, podemos perceber que: ε1 = 2 – (a + b) , ε2 = 2 – (a + 2b) e ε3 = 4 – (a + 3b) Exemplo3: Dentre as retas abaixo, qual possui o menor erro quadrático mínimo para os pontos (­5,3), (0,3), (5,2) e (10,0)? a) y = 2 – x __ 1 b) y = 2 – 5 x 5 c) y = __ 2 Solução: __ 1 Y = 2 – x Y = 2 – 5 x ε 1 ε 2 ε 3 ε 4 3 ­ (­1 + 5) = ­1 3 – ( 2 – 0) = 0 3 – ( 3 ­ (­1 + 0) = 4 3 – ( 2 – 0) = 1 3 – ( 2 ­ (­1 – 5) = 8 2 – ( 2 – 0) = 1 2 – ( e 0 ­ (­1 – 10) = 11 0 – ( 2 – 0) = 0 0 – ( ||e|| __ 5 2 5 __ Y = 1 __ 2 – 0) = 2 1 5 __ __ 2 – 0) = 2 ­1 5 __ – 0) = __ 2 2 ­5 5 __ __ 2 – 0) = 2 11 2 7 14,21 1,41 2,65 __
1 Efetuados os cálculos podemos concluir que a reta y = 2 – 5 x possui o menor erro quadrático mínimo, logo ela é a reta de melhor ajuste ou reta de mínimos quadrados. Agora vamos generalizar. Suponha n pontos (x1, y1) ... (x n, y n) e uma reta y = a + bx, o vetor erro é: ε1 e = ... , com εi = yi – (a + bx i), assim teremos: εn a + bx 1 = y1 a + bx 2 = y2 ... A + bx n = y3 1 x 1 y 1 1 x 2 a y 2 = ... b … 1 x n yn que está na forma Ax = b. 1 x1 y1 a com A = 1 x2 , x = e b = y2 b ... ... UFPB – PRG _____________________________________________________________X ENCONTRO DE INICIAÇÃO À DOCÊNCIA 1 x2 y3 Assim sendo, o erro ficaria: e = b – Ax. Definição: Se A é uma matriz mxn e b está em R n , uma solução por mínimos n quadrados de Ax = b é um vetor x em tal que: R , || b – Ax|| ≤ || b – Ax|| x em Rn . Solução para problemas de Mínimos Quadrados: Considerando que qualquer vetor da forma Ax está no espaço­coluna A e que x varia sobre o Rn , temos que Ax varia sobre todos os vetores da col(A). Assim, uma solução por mínimos quadrados Ax = b é equivalente a y em col(A), ou seja: || b – y || ≤ || b – y|| y em col(A). Devemos encontrar o vetor em col(A) mais próximo de b, e pelo teorema da melhor aproximação, assim pensando, temos: Ax = proj col(A)(b) e substituindo: b – Ax = b ­ projcol(A)(b) = perpcol(A)(b) que é ortogonal a col(A). assim, se ai é uma coluna de A, temos: T T T ai (b – Ax) = ai.(b – Ax) = 0 A (b – Ax) = [a1 ... an] (b – Ax) T T a1 a1 (b – Ax) … (b – Ax) = … = T T an an (b – Ax) Ou seja, T T 0 … 0 T T A b – A Ax) = 0 A b = A Ax) Essa equação resultante é conhecida como equação normal para x. ­ Teorema: Seja A uma matriz mxn e b Rm . Então, Ax = b sempre tem pelo menos uma solução por mínimos quadrados x. Além disso: a) x é uma solução por mínimos quadrados de Ax = b, se somente se, x é uma T T solução da equação normal A b = A Ax. b) A possui colunas linearmente independentes se, e somente se, A T Ax é irrevertível. Nesse caso a solução por mínimos quadrados de Ax = b é única e é dada por: x = (A T A) ­1 A T b Exemplo4: Encontre a reta de mínimos quadrados dados A e b abaixo. A = 3 1 1 1 1 2 b = 1 1 1 Solução: T Calculando A A: T 1 1 1 1 1 2 3 1 A A = = 1 1 1 2 T Calculando A b: 1 5 1 1 1 1 A b = = 4 1 1 2 1
T Assim temos: 11 6 6 6 UFPB – PRG _____________________________________________________________X ENCONTRO DE INICIAÇÃO À DOCÊNCIA T T A b = A Ax , substituindo: 11 6 6 6 a b 1 a = __ 5 11a + 6b = 5 6a + 6b = 4 = 5 4 7 b = __ __ 1 5 5 __ __ 1 7 x = , assim temos: y = + x como sendo a reta de mínimos quadrados. __ 7 5 5 5 ||e|| = ||b – Ax|| substituindo os valores temos: 1 e = 1 1 – 3 1 1 1 1 2 __ 1 5 __ 7 5 = __
­1 5 _ __
5 15 __
­5 15 _ ___ 2 2 2 __ ___
­1 5 ­5 ( ) ||e|| = = 0476 5 + ( ) 15 + ( 15 ) Uma das mais importantes aplicações do Método dos Mínimos Quadrados é estimar constantes associadas a vários processos. Exemplo5: De acordo com a tabela abaixo, encontre o valor de k e estime a população no ano de 2010.(Exemplo tirado do Fonte: Poole, David, Álgebra Linear, editora THOMSON,2004,pág. 530 e 531). Dados: p(t) = ce kt , onde p(t) é o tamanho da população em um determinado ano t e p’(0) c e e são constantes, com p(0) = c e k = p(t) t 0 1 2 3 4 5 Ano 1950 1960 1970 1980 1990 2000 População (bilhões) 2,56 3,04 3,71 4,46 5,28 6,08 Solução: p(0) = c c = 2,56 kt p = ce kt p = 2,56 e kt ln(p) = ln(2,56) + ln(e ) ln(p) = 0,94 + kt substituindo nessa fórmula os valores de t e p dados na tabela, temos: 0,94 = 0,94 1 k = 0,172 2 2k = 0,371 3k = 0,555 e tiramos daí que: A = e b = 3 4k = 0,724 4 5k = 0,865 Calculando A T A: encontraremos A T A = 55 Calculando A T b: encontraremos A T b = 9,80 5 0,172 0,371 0,555 0,724 0,865 9,80 E assim temos 55x = 9,80, e finalmente, k = x = = 0,178 55 A estimativa para 2010, como a população é analisada a cada 10 anos, o ano de 2010 será o t = 6. kt (1,78)(6) p(t) = ce p(6) = 2,56e = 7,448 Conclusão, estima­se que a população no ano de 2010 seja de 7,448 bilhões de pessoas. Graficamente temos: UFPB – PRG _____________________________________________________________X ENCONTRO DE INICIAÇÃO À DOCÊNCIA Pseudo­Inversa de uma matriz: Se A é uma matriz com colunas linearmente independentes, ou seja, invertível, a + pseudo­inversa de A é a matriz A dada por:
+ T ­1 T A = (A A) A Algumas propriedades da pseudo­inversa, ou, as condições de Penrose para A: + a) AA A = A; + + + b) A AA = A ; + + b) AA e A A são simétricas. Exemplo6: Encontre a pseudo­inversa de A = Solução: T Calculando A A:
1 3 ­1 1 0 2 1 3 1 ­1 0 2 2 A A = = ­1 1 3 1 2 2 14 T T ­1 (A A) = 0 2 __ 7 12 ___ ­1 12 ___ ­1 12 __ 1 12 Agora, calculamos a pseudo­inversa usando a fórmula: A + = (A T A) ­1 A T __ 7 12 ___ ­1 12 12 12 1 ­1 0 A = = ___ __ ­1 1 3 1 2 + __ 1 3 ___ 1 6 ___ ­2 3 ___ 1 6 ___ ­1 6 ___
1 6 Conclusão Analisamos problemas onde era preciso fazer um reajuste de curvas, ou seja, pegar a curva que nos proporcionaria um menor erro quadrático mínimo da aproximação. E discutimos vários meios de encontrá­la. Como citado acima, o MMQ é muito usual no cálculo de populações bem como em outros processos, daí a importância de aprendê­lo. Referências bibliográficas: http://www.mat.ufpr.br/foz2006db/resumos/MS06­0620004909.pdf Poole, David, Álgebra Linear, editora THOMSON,2004.