Análise de regressão linear simples:
abordagem matricial
Álgebra de matrizes é amplamente utilizada na estatística. É praticamente uma
necessidade na regressão linear múltipla, pois permite que grandes sistemas de
equações e conjunto de dados sejam representados de forma compacta e operacional.
Matrizes
Matriz: um conjunto de elementos arranjados em linhas e colunas. Exemplo:
Linha 1 16 23
Linha 2 33 47
Linha 3  21 35
(Dimensão: 3 x 2)
 a11

A =  a 21
(3 x 2)  a
 31
a12 
a22 
a32 
i=1,2,3 (linhas)
j=1,2 (colunas)
Representada por letras em negrito, p.e., A, B, C, , , , , etc.
1
Matriz quadrada:
4 7 
3 9 


Vetor:
 a11
a
 21
 a31
a12
a22
a32
a13 
a23 
a33 
Número de linhas =
número de colunas.
Contém apenas uma coluna. Também são representados por letras
minúsculas em negrito.
4
a 7
 
10
Vetor linha ou transposto:
a '  4 7 10
Matriz transposta (A’):
A( 3 x 2 )
2 5 
 7 10


 3 4 
2 7 3
A '( 2 x 3 )  

 5 10 4
2
Aplicação na regressão linear simples:
O vetor y consiste de n observações da variável resposta:
 Y1 
 
Y2 
y  .
nx1  . 
 
Y 
 n
y'  Y1 Y2
(1 x n)
Matriz X de delineamento:
1 X 1 
1 X 
2

. . 
X 

(n x 2)
.
.


. . 


1
X
n

1
X 
(2 x n)
 X1
'
. . Yn 
O vetor dos parâmetros:
1 . . . 1
X 2 . . . X n 
α 
β  
2 x1 β
3
Exemplo :
• X = tamanho do registro
• Y = tempo para
criptografar
Resultados de n = 8
ensaios experimentais:
X
128
256
384
512
640
768
896
1024
Y
375
805
1444
1323
2339
3067
2458
3329
4
 375 
 805 


1444 
1323 

y
2339


3067
 2458


3329
y '  375 805 1444 1323 2339 3067 2458 3329
1 128 
1 256 


1 384 
1 512 

X 
1 640 


1 768 
1 896 


1 1024
 
β 
 
5
• Exercício: em um experimento foi estudado a
porcentagem de acertos na cache (Y) em função do
tamanho da cache (X), em kbytes, para um
determinado tipo de pré-carregamento. Alguns
resultados deste experimento foram:
• Tamanho da cache: 250
300
350
400
• Acertos (%)
: 44,45 46,99 50,66 53,21
• Dar o vetor de dados (y), vetor de dados transposto
(y’), a matriz de delineamento (X), matriz do
delineamento transposta (X’) e o vetor de parâmetros
().
6
Adição e subtração de matrizes:
 1 4
A   2 5


(3 x 2)
 3 6
 11
A  B  2  2
(3 x 2 )
 3  3
 11
A  B  2  2
(3 x 2 )
 3  3
 1 2
B   2 3


(3 x 2)
 3 4
4  2  2
5  3   4
6  4 6
4  2  0
5  3   0
6  4 0
Matrizes de mesma
dimensão
6
8 
10
2
2
2
Aplicação na regressão:
Temos o modelo de regressão, para a i-ésima observação:
yi  E( yi )  εi
i  1,2,..,n
onde E(yi) corresponde ao valor médio de yi. Este modelo pode ser escrito em
forma matricial.
7
Vamos definir os vetores de respostas médias e de resíduos:
 E ( y1 ) 


E
(
y
)
2 

 . 
E( y )  

.


( n x1)
 . 


 E ( y n )
 ε1 
 
ε 2 
 .
ε  
(n x 1)  . 
 .
 
ε n 
Assim, o modelo de regressão escrito na forma matricial, fica:
y
( n x 1)
 E ( y )
ε
( n x 1) ( n x 1)
Exercício: estruturar o vetor de erros () para o experimento sobre acertos e tamanho de
cache.
8
Multiplicação de matrizes:
Por escalar:
2 7  8 28
4A  4 



9 3 36 12
Multiplicação de matriz por matriz:
 2 5   4 6
( 2.4  5.5 ) ( 2.6  5.8 )
33 52
AB  
 






4
1
5
8
(
4
.
4

1
.
5
)
(
4
.
6

1
.
8
)
21
32
2 2 
2 2 
2 

2
Nota: geralmente ABBA. Para poder realizar a multiplicação, o número de colunas da
matriz A dever ser igual ao número de linhas da matriz B.
1
AB

Exercício: faça a multiplicação das matrizes:
0

3
5
 3
4  
5 .

8
  2
 

9
Aplicação na regressão:
y
'
y   y1
1xn  nx1
y2
 y1 
 
 y2 
 . n 2
. . . y n     yi  Soma de quadrados
 .  i 1
 .
 
 y n 
10
Exemplo: tempo para criptografar
e tamanho do registro
 375 
 805 


1444 
1323

y ' y  375 805 1444 1323 2339 3067 2458 3329
2339


3067


 2458


3329


y ' y  36.625.530
Exercício:
Para o experimento sobre acertos e tamanho de cache, realizar o produto de vetores: y’y.
11
Importante:
1
X X 
2 xn  nx2   X 1
'
1
X2
1 X 1 


1
X

2

n
. . . 1  .
.  
  n

. . . X n  .
.  
 X i
.

.
i 1

 2
1 X n 

 Xi 
i 1

n
2
 Xi 
i 1
2
n
12
Exemplo: tempo para criptografar
e tamanho do registro
1 128 
1 256 


1 384 


1
1
1
1
1
1
1  1 512 
 1
'
X X 
 1 640 
128
256
384
512
640
768
896
1024




1 768 
1 896 
8
4608


X'X =
4608 3342336
1 1024
Exercício:
Para o experimento sobre acertos e tamanho de cache, realizar o produto de matrizes: X’X.
13
Importante:
1
X
y 
2 xn  nx1  X 1
'
1
X2
 Y1 
 
Y2 
. . . 1   .    Yi 
  

. . . X n   .  2  X iYi 1
 .
 
Yn 
14
Exemplo: tempo para criptografar
e tamanho do registro
 375 
 805 


1444 


1
1
1
1
1
1
1  1323
 1
'
X y
 2339
128
256
384
512
640
768
896
1024




3067
2458
X'y =
15140


10949632
3329
Exercício:
Para o experimento sobre acertos e tamanho de cache, realizar o produto X’y.
15
Importante:
1 X1 
   X1 
1 X 
   X 
2
2


.

.    
.
X β 
   

nx2  2 x1  . .      . 
.


. 
.




1 X n 
  X n 
16
Exemplo: tempo para criptografar
e tamanho do registro
1 128 
    .128 
1 256 
    .256 




1 384 
    .384 
1 512  
    .512 
  



Xβ 

1 640         .640 




1 768 
    .768 
1 896 
    .896 




1 1024
   .1024
Exercício:
Para o experimento sobre acertos e tamanho de cache, realizar o produto X.
17
Portanto, o modelo de regressão na forma matricial fica:
y  Xβ  ε
 1      .128  1 
 375  1 128 
      .256   
 805  1 256 
2 
 2 

 

 3      .384   3 
1444  1 384 
1323 1 512         .512   
4 


    4   
2339 1 640      5      .640   5 
  


 





.
768


6 
 6 
3067 1 768 
 7      .896   7 
2458 1 896 
  


 

3329 1 1024
 8     .1024   8 
18
Exercício:
Para o experimento sobre acertos e tamanho de cache, obtenha o modelo de regressão
linear simples através das operações y = X + .
19
Inversa de uma matriz
Suponha a equação a.x = b, em que a, b e x são números reais e queremos resolver esta
equação em x. Vemos diretamente que x = b/a é a solução para a  0. As etapas para se
chegar a esta solução foram:
ax  b 
1
ax  1 b   1 a  x  b  1x  b  x  b
a
a
a
a
a
a 
Para duas ou mais equações temos a seguinte representação em termos matriciais:
Ax = b
O que precisamos fazer para resolver estas equações em x? Precisamos encontrar
uma matriz representada por A-1, chamada inversa de A, equivalente a 1/a, tal que
A-1A=I, sendo I uma matriz cujos elementos na diagonal são todos iguais a 1 e
fora iguais a zero, ou seja:
1 0 . 0 
0 1 . 0 

A1 A  I  
. . . .
0 0 . 1 


20
Exemplo
Se temos um sistema de equações:
Ax  b
Assumindo que A tem inversa, podemos pré-multiplicar ambos os lados da igualdade
por A-1:
( A1 A ) x  A1b
Como A-1Ax = Ix = x, obtemos a solução:
x  A1b
21
Exemplo: suponha o seguinte sistema de equações:
2 x1  4 x 2  20
3 x1  x 2  10
Escrevendo na forma matricial temos:
2 4  x1  20

x    
3 1   2  10
A solução do sistema de equações é dada por:
1
 x1  2 4 20  x1   0.1 0.4  20 2
 
 
 






 x2  3 1 10  x2   0.3  0.2 10 4
Observação: a inversa da matriz foi calculada com o auxílio do Excel.
22
Aplicação na regressão
Na análise de regressão, a principal inversa é a de (X’X), representada por (X’X)-1:
Exemplo:
Para o experimento sobre tempo para criptografar e tamanho do registro, a inversa da
matriz (X’ X) com o auxílio de uma planilha eletrônica.
X'X =
8
4608
4608
3342336
Inversa(X' X) 0,607143 -0,000837054
-0,000837 1,45322E-06
23
Exemplo:
Para o experimento sobre acertos e tamanho de cache, a inversa da matriz (X’ X) com o
auxílio de uma planilha eletrônica.


1300 
 4
X X 

1300
435000


1  8,7
 0,026 
'
X X 


0
,
026
0
,
00008



'

24
Análise de regressão linear simples através de
matrizes
O modelo de regressão linear simples, na forma matricial é dado por:
y  Xβ  ε
Para obtermos as estimativas dos coeficientes de regressão (b) devemos resolver
as equações normais:
( X X )b  X y
'
'
( X ' X )1( X ' X )b  ( X ' X )1 X ' y
Como (X’X)-1( X’X)=I e Ib=b, temos:
1
b(X X ) X y
'
'
25
Exemplo:
Usando a abordagem matricial obter os coeficientes de regressão para o exemplo de um
pesquisador que está estudando o tempo para criptografar e o tamanho do registro.
Inversa(X' X) 0,607143 -0,000837054
-0,000837 1,45322E-06
X'y =
15140
10949632

b X X
'
 
1
 0,607143  0,000837   15140  26,71
X y 






0
,
000837
0
,
00000145
10949632
3
,
24


 

'
Exercício:
Usando a abordagem matricial obter os coeficientes de regressão para o exemplo de uma
pesquisadora que está estudando a porcentagem de acertos com o tamanho da cache.
26
Valores estimados e resíduos
Valores estimados
Em termos matriciais, os valores estimados ou preditos são obtidos por:
Yˆ
 X
b
n x 1 n x 2 2 x 1
27
Exemplo:
Estimar (predizer) os valores de tempo para criptografar de acordo com o modelo de
regressão linear simples.
1 128 
 441,3 
1 256 
 855,9 




1 384 
1270,6 
1 512  26,71 1685,2 

 



yˆ  Xb 

1 640   3,24   2099,8 




1 768 
2514,4
1 896 
 2929,0




1 1024
3243,7 
Exercício:
Estimar (predizer) os valores de porcentagem de acertos na cache de acordo com o
modelo de regressão linear simples.
28
Resíduos
Os resíduos, em termos matriciais, são dados por:
ˆ  Y  Xb
e  YY
Exemplo:
Obter os valores dos resíduos ou erros do tempo para criptografar de acordo com o
modelo de regressão linear simples.
29
 375   441,3    66,33 
 805   855,9    50,95 

 
 

1444  1270,6   173,42 
1323  1685,2    362,19



e  y  yˆ  y  Xb  
2339  2099,8   239,19 

 
 

3067 2514,4  552,57 
 2458  2929,0  471,05

 
 

3329 3243,7    14,67 
Exercício:
para o exemplo de porcentagem de acerto na cache e o tamanho, obter o vetor
de valores dos resíduos:
30
Exemplo:
Resultados de n = 8
ensaios experimentais:
X
128
256
384
512
640
768
896
1024
• X = tamanho do registro
• Y = tempo para
criptografar
Y
375
805
1444
1323
2339
3067
2458
3329
Calcular SQE (Soma de quadrados dos erros) e QME (Quadrado médio dos erros).
SQE  e e  y y  b X y
'
'
'
'
31
  66,33 
  50,95 


 173,42 
  362,19
  752.903,9
e 'e   66,33  50,95 173,42  362,19 239,19 552,57  471,05  14,67
 239,19 


552
,
57


 471,05


  14,67 
QME = 752.903,9/(8-2) = 107.557,7
Exercício:
Para os dados de porcentagem de acertos na cache e tamanho calcular SQE (Soma de quadrados
dos erros) e QME (Quadrado médio dos erros).
32
Análise de variância
Soma de quadrados
O termo da correção é dada por:

C  1n y' Jy
A soma de quadrados total é dada por:
SQTO  y' y  C
1
1
j 
n x n   .

1
1
1
.
1
.
.
.
.
A soma de quadrados do erro (resíduo) é dada por:
SQE  e' e  ( y  Xb )' ( y  Xb )
 y' y  b' X ' y
A soma de quadrados da regressão é dada por:
SQRE  b' X ' y  C
33
1
1
.

1
Exercício: para os dados de porcentagem de acertos na cache e o tamanho da
cache, obter as somas de quadrados da ANOVA.
Correção:
Soma de quadrados total:
Soma de quadrados da regressão:
Soma de quadrados do erro:
Fazer a tabela da ANOVA com a razão F*. Fazer o teste de significância do
modelo.
34
Inferência na análise de regressão
Vamos tratar aqui das expressões para o cálculo do intervalo de confiança para uma
resposta média e do intervalo de predição para uma nova observação.
Resposta média
Para estimar a resposta média em Xh, vamos definir o vetor:
1
X h     X 'h  1 X h 
2 x1
Xh 1x 2
Vimos que os valores estimados, na forma matricial, são dados por:
Yˆh  X'hb
( 1 x 1)
35
Exemplo
Para o exemplo do tempo para criptografar, deseja-se determinar a estimativa da resposta
média quando Xh = 512. Tem-se:
 1 
'


Xh  

X

1
512
h

2 x 1 512
1x 2
'
ˆ
Yh  X hb 
(1 x 1)
26,71
1 512

1
.
685
,
19

 3,24 
36
Exercício: para o exemplo das porcentagens de acerto na cache, deseja-se determinar a
estimativa da resposta média quando Xh = 300. Tem-se:
 1 
'
Xh  

X
h  1 300

2 x 1 300
1x 2
 29,36 
'
ˆ
Yh  X h b  1 300

0 ,0599
( 1 x 1)
37
A estimativa da variância de uma resposta média é obtida por:
s2 (Yˆh )  QME(X'h (X'X)1 Xh )
Exemplo: para o exemplo do tempo para criptografar, determinar a estimativa da
variância da média de uma observação estimada quando Xh=512. Temos:
 0,607143  0,000837   1 
s  yˆ 512   107557,71 512




 0,000837 0,00000145 512
2
Exemplo: para o exemplo do tempo para criptografar, determinar a estimativa do desvio
padrão da média de uma observação estimada quando Xh=512. Temos:
Exemplo: construir o intervalo de confiança, com 95%, para a resposta média quando
Xh=512.
38
Exercício: para o exemplo das porcentagens de acerto na cache, determinar a estimativa
da variância da média de uma observação estimada quando Xh=300. Temos:
Exercício: para o exemplo das porcentagens de acerto na cache, determinar a estimativa
do desvio padrão da média de uma observação estimada quando Xh=300. Temos:
Exercício: construir o intervalo de confiança, com 95%, para a resposta média quando
Xh=300.
39
Predição de uma observação
Para predizer a resposta em Xh, vamos definir o vetor:
1
X h     X 'h  1 X h 
2 x1
Xh 1x 2
Vimos que os valores preditos, na forma matricial, são dados por:
Yˆh  X'hb
( 1 x 1)
Exercício: para o exemplo das porcentagens de acerto na cache, predizer a porcentagem
de acertos quando Xh=300. Temos:
 1 
X h     X 'h  1 300
2 x 1 300 1 x 2 
 29,36 
Yˆh  X 'h b  1 300
  47,33
0 ,0599
( 1 x 1)
40
A variância de uma predição é dada por:
s 2 ( Yˆh ( predito))  QME( 1  X 'h (X' X)1 X h )
Exercício: para o exemplo das porcentagens de acerto na cache, desejamos determinar a
estimativa da variância da predição de uma observação quando Xh=300. Temos:
Exercício: para o exemplo das porcentagens de acerto na cache, desejamos determinar a
estimativa do desvio padrão da predição de uma observação quando Xh=300. Temos:
Exercício: construir o intervalo de predição, com 95%, para um valor da resposta quando
Xh=300.
41
Exercício: continuação do exercício do tempo para
criptografar e o tamanho da palavra.
Predição. Determinar a estimativa da variância e o desvio padrão
da predição
de uma observação quando Xh = 512. Seja QME = 107.557,7.
Intervalo de predição. Construir o intervalo de predição, com 95% de
confiança, para um valor da resposta quando Xh = 512.
42