Projeto de Experimentos
RENATA CARVALHO
Experimento
 Experimento:
 Uma forma de validar um modelo ou hipótese;
 Deve ser replicável, ou seja, ter a capacidade de ser
reproduzido por qualquer outro agente externo;
 Por que os experimentos precisam ser replicados?
 Com apenas uma observação, não se pode ter certeza da
veracidade científica dos resultados obtidos.
Ciclo de um Experimento
 Indução
 Mostra que algo é
operacional;
 Abdução
 Sugere que algo pode
ser;
 Dedução
 Prova que algo é.
Tipos de Projeto de Experimentos
 Projeto simples
 Variação de um fator por vez;
 Projeto fatorial completo
 Todas as combinações possíveis de todos os fatores, em todos
os níveis;
 Achar o efeito de cada fator e suas combinações;
 Projeto fatorial fracionado
 Utilizado quando o número de experimentos a ser realizado no
fatorial completo é muito grande;
 Obtém-se menos resultados do que o fatorial completo.
Experimento Fatorial Completo
𝑘
(2 )
Fatorial Completo (2𝑘 )
 É utilizado para determinar o efeito de k fatores;
 Cada fator deve possuir dois níveis (alternativas);
 2𝑘 experimentos são requeridos;
 2𝑘 efeitos são produzidos:
 k efeitos principais;
𝑘

efeitos de interações entre 2 fatores;
2
𝑘

efeitos de interações entre 3 fatores.
3
Fatorial Completo (2𝑘 )
 Exemplo:
 Para projetar uma máquina, devemos avaliar o tamanho da
cache, o tamanho da memória e se 1 ou 2 processadores devem
ser utilizados.
Fator
Nível -1
Nível 1
Tamanho da memória (A)
4 Mbytes
16 Mbytes
1 kbyte
2 kbytes
1
2
Tamanho da cache (B)
Número de processadores (C)
4 Mbytes
16 Mbytes
Cache
1 proc.
2 proc.
1 proc.
2 proc.
1 kbyte
14
46
22
58
2 kbytes
10
50
34
86
Fatorial Completo (2𝑘 )
 O desempenho pode ser expressado por:
y  q0  qA xA  qB xB  qC xC  qAB xA xB  qAC xA xC  qBC xB xC  qABC xA xB xC
 Pelo problema:
14  q0  q A  qB  qC  q AB  q AC  qBC  q ABC
22  q0  q A  qB  qC  q AB  q AC  qBC  q ABC
10  q0  q A  qB  qC  q AB  q AC  qBC  q ABC

 A equação de regressão é:
y  40  10xA  5xB  20xC  5xAB  2xAC  3xBC  1xABC
Fatorial Completo (2𝑘 )
I
A
B
C
AB
AC
BC
ABC
y
1
-1
-1
-1
1
1
1
-1
14
1
1
-1
-1
-1
-1
1
1
22
1
-1
1
-1
-1
1
-1
1
10
1
1
1
-1
1
-1
-1
-1
34
1
-1
-1
1
1
-1
-1
1
46
1
1
-1
1
-1
1
-1
-1
58
1
-1
1
1
-1
-1
1
-1
50
1
1
1
1
1
1
1
1
86
320
80
40
160
40
16
24
9
Total
40
10
5
20
5
2
3
1
Total/8
Fatorial Completo (2𝑘 )
 SST (Sum of Squares Total)

2
2
2
2
SST  23  q A2  qB2  qC2  q AB
 q AC
 qBC
 q ABC

SST  8  102  52  202  52  22  32  12


SST  800 200 3200 200 32  72  8  4512
 Efeitos:







A = 18% (800/4512)
B = 4% (200/4512)
C = 71% (3200/4512)
AB = 4% (200/4512)
AC = 1% (32/4512)
BC = 2% (72/4512)
ABC = 0% (8/4512)
Experimento Fatorial Completo
𝑘𝑟
com Replicações (2 )
Fatorial Completo com Replicações (2𝑘𝑟 )
 Com a repetição dos experimentos, é possível
estimar erros;
 Cada experimento será repetido r vezes;
 A equação de regressão, nesse caso, é:
y  q0  qA xA  qB xB  qAB xA xB  e
Fatorial Completo com Replicações (2𝑘𝑟 )
 O mesmo exemplo anterior considerando apenas o
tamanho da cache e o tamanho da memória.
I
A
B
AB
y
y
1
-1
-1
1
(15, 18, 12)
15
1
1
-1
-1
(45, 48, 51)
48
1
-1
1
-1
(25, 28, 19)
24
1
1
1
1
(75, 75, 81)
77
164
86
38
20
Total
41
21,5
9,5
5
Total/4
Fatorial Completo com Replicações (2𝑘𝑟 )
Efeito
I
A
B
AB
41
21,5
9,5
5
1
-1
-1
1
1
1
-1
1
-1
1
1
Medidas
y
Erros
y1
y2
y3
e1
e2
e3
15
15
18
12
0
3
-3
-1
48
45
48
51
-3
0
3
1
-1
24
25
28
19
1
4
-5
1
1
77
75
75
81
-2
-2
4
SSE  02  32  (3) 2  (3) 2  02  32  12  42  (5) 2  (2) 2  (2) 2  42
SSE  102
Fatorial Completo com Replicações (2𝑘𝑟 )


 5   102
2
SST  22  3  q A2  qB2  q AB
 SSE

SST  12 21,52  9,52
2
SST  5547 1083 300 102  7032
 Efeitos
 A = 78,88% (5547/7032)
 B = 15,4% (1083/7032)
 AB = 4,27% (300/7032)
 1,45% restantes atribuídos a erros.
Experimento Fatorial
𝑘−𝑝
Fracionado (2
)
Fatorial Fracionado (2𝑘−𝑝 )
 Se o número de fatores é grande, o custo para
realização dos experimentos pode ser muito grande;
 Possibilita analisar 2𝑘 fatores com apenas 2𝑘−𝑝
experimentos;


2𝑘−1 requer metade dos experimentos;
2𝑘−2 requer um quarto dos experimentos;
 Nem todos os efeitos serão calculados.
Fatorial Fracionado (2𝑘−𝑝 )
 Exemplo 27−4
Exp.
A
B
C
D
E
F
G
1
-1
-1
-1
1
1
1
-1
2
1
-1
-1
-1
-1
1
1
3
-1
1
-1
-1
1
-1
1
4
1
1
-1
1
-1
-1
-1
5
-1
-1
1
1
-1
-1
1
6
1
-1
1
-1
1
-1
-1
7
-1
1
1
-1
-1
1
-1
8
1
1
1
1
1
1
1
Fatorial Fracionado (2𝑘−𝑝 )
 Os valores das colunas devem ser escolhidos
cuidadosamente;
 Devem ser mutuamente ortogonais:



A soma de cada coluna é zero;
A soma dos produtos de quaisquer duas colunas é zero;
A soma dos quadrados de cada coluna é 2𝑘−𝑝
Fatorial Fracionado (2𝑘−𝑝 )
 Construindo a tabela de sinais:
7−4
 Para um exemplo 2
construímos uma tabela igual a de 23
Exp.
A
B
C
AB
AC
BC
ABC
1
-1
-1
-1
1
1
1
-1
2
1
-1
-1
-1
-1
1
1
3
-1
1
-1
-1
1
-1
1
4
1
1
-1
1
-1
-1
-1
5
-1
-1
1
1
-1
-1
1
6
1
-1
1
-1
1
-1
-1
7
-1
1
1
-1
-1
1
-1
8
1
1
1
1
1
1
1
Fatorial Fracionado (2𝑘−𝑝 )
 Construindo a tabela de sinais:
7−4
 Para um exemplo 2
construímos uma tabela igual a de 23
Exp.
A
B
C
D
E
F
G
1
-1
-1
-1
1
1
1
-1
2
1
-1
-1
-1
-1
1
1
3
-1
1
-1
-1
1
-1
1
4
1
1
-1
1
-1
-1
-1
5
-1
-1
1
1
-1
-1
1
6
1
-1
1
-1
1
-1
-1
7
-1
1
1
-1
-1
1
-1
8
1
1
1
1
1
1
1
Fatorial Fracionado (2𝑘−𝑝 )
 Construindo a tabela de sinais:
4−1
 Para um exemplo 2
construímos uma tabela igual a de 23
Exp.
A
B
C
AB
AC
BC
ABC
1
-1
-1
-1
1
1
1
-1
2
1
-1
-1
-1
-1
1
1
3
-1
1
-1
-1
1
-1
1
4
1
1
-1
1
-1
-1
-1
5
-1
-1
1
1
-1
-1
1
6
1
-1
1
-1
1
-1
-1
7
-1
1
1
-1
-1
1
-1
8
1
1
1
1
1
1
1
Fatorial Fracionado (2𝑘−𝑝 )
 Construindo a tabela de sinais:
4−1
 Para um exemplo 2
construímos uma tabela igual a de 23
Exp.
A
B
C
AB
AC
BC
D
1
-1
-1
-1
1
1
1
-1
2
1
-1
-1
-1
-1
1
1
3
-1
1
-1
-1
1
-1
1
4
1
1
-1
1
-1
-1
-1
5
-1
-1
1
1
-1
-1
1
6
1
-1
1
-1
1
-1
-1
7
-1
1
1
-1
-1
1
-1
8
1
1
1
1
1
1
1
Fatorial Fracionado (2𝑘−𝑝 )
 Confusão
 Sem um experimento fatorial completo não é possível separar
a estimativa dos efeitos de D e ABC;
 Não é um problema se soubermos que o efeito de D é maior
que o de ABC;
 Podemos expressar uma confusão como:
 D = ABC
 Para expressar um problema 24−1 , expressamos em
função de I:

I = ABCD
Fatorial Fracionado (2𝑘−𝑝 )
 Lista de confusões:
 A = BCD; B = ACD; C = ABD; AB = CD; AC = BD; BC = AD;
ABC = D; I = ABCD.
 Outro exemplo da lista de confusões do problema
24−1 :

I = ABD; A = BD; B = AD; C = ABCD; D = AB; AC = BCD;
BC = ACD; ABC = CD;
 Qual dos dois exemplos é melhor?
Experimento Simples (1 fator)
Experimento Simples (1 fator)
 É usado para comparar várias alternativas de uma
única variável (fator);
 Não há limite para o número de níveis (alternativas)
que o fator pode assumir;


Com exceção de 2;
O número de níveis deve ser maior do que 2.
Experimento Simples (1 fator)
 Exemplo:
 Queremos analisar o tamanho (em kbytes) de um mesmo
código em 3 linguagens.

R
V
Z
144
101
130
120
144
180
176
211
141
288
288
374
144
72
302
A análise de um fator, só é válida se os dados de uma linha não
representarem outro fator.
Experimento Simples (1 fator)
R
V
Z
144
101
130
120
144
180
176
211
141
288
288
374
144
72
302
872
816
1127
Soma (2815)
174,4
163,2
225,4
Média (187,7)
-13,3
-24,5
37,7
Efeito
Experimento Simples (1 fator)
 SSE (Sum of Square Errors)
 SSE = 94.365,2
 SSA (ou 𝑞𝐴 )
2
2
2
 SSA = (−13,3) + (−24,5) +(37,6) = 10.992,1
 SST (Sum of Square Total)
 SST = SSA + SSE
SST = 10.992,1 + 94.365,2
SST = 105.357,3
Experimento Simples (1 fator)
 Em termos de porcentagem, os efeitos tem os
valores:


A = 10,4% (10.992,1 / 105.357,3)
89,6% restantes atribuídos a erros.

Nesse caso, pode ser atribuída a diferença entre programadores.
Experimento Fatorial Completo
𝑘
(𝑛 )
Fatorial Completo (𝑛𝑘 )
 Qualquer número de fatores (k);
 Qualquer número de níveis (n);
 Com exceção de 2.
Fatorial Completo (𝑛𝑘 )
 Exemplo:
4
 Avaliar 4 fatores, cada um com 3 níveis (3 ).
Símbolo
Fator
Nível 1
Nível 2
Nível 3
A
Algoritmo
LRUV
FIFO
RAND
O
Organização
Grupo
Freq y
Alfa
P
Problema
Pequeno
Médio
Grande
M
Memória
24 p
20 p
16 p
Fatorial Completo (𝑛𝑘 )
Grupo
Alg.
Freq y
Alfa
Prog.
24 p
20 p
16 p
24 p
20 p
16 p
24 p
20 p
16 p
Pequeno
1,51
1,68
2,73
1,72
2,39
3
1,77
2,73
3,13
1,72
1,91
3,28
2,05
2,89
3,56
2,08
3,27
3,67
Grande
2,15
2,29
3,76
2,42
3,42
4
2,99
3,76
4,11
Pequeno
1,69
1,83
2,9
1,9
2,59
3,14
1,93
2,91
3,23
2
2,13
3,5
2,21
3,1
3,69
2,31
3,53
3,77
Grande
2,37
2,54
3,96
2,66
3,57
4,13
3,21
4
4,23
Pequeno
1,79
2
3,04
2,05
2,68
3,25
2,05
2,92
3,34
1,98
2,39
3,58
2,37
3,18
3,78
2,46
3,49
3,88
2,42
2,3
4,09
2,71
3,69
4,27
3,24
3,95
4,36
LRUV Médio
FIFO Médio
RAND Médio
Grande
Fatorial Completo (𝑛𝑘 )
 Para calcular o efeito de cada fator em determinado
nível, utiliza-se a média dos valores relacionados ao
efeito e a média global de todos os valores.
 O efeito do algoritmo no nível LRUV é:

Efeito = 2,74 – 2,90 = -0,16
Fator
Nível 1
Nível 2
Nível 3
A
-0,16
0,02
0,14
O
-0,36
0,07
0,29
P
-0,47
-0,02
0,49
M
-0,69
-0,01
0,70
Exercício
 Desejamos analisar o desempenho de carros em km
andados com 1 litro de combustível (álcool ou
gasolina).
Resultados Obtidos (6 processadores, sequencial)
MK
WT
CC
MK.WT
MK.CC
WT.CC
MK.WT
.CC
Total
Total/8
I
1
1
1
1
1
1
MK
1
-1
-1
1
1
-1
WT
-1
1
-1
1
-1
1
CC
-1
-1
1
-1
1
1
1
1
1
1
1,2591 0,1497
0,1574 0,0187
MK.WT
MK.WT MK.CC WT.CC .CC Mean
-1
-1
1
1
0,1057
-1
1
-1
1
0,0661
1
-1
-1
1
0,2505
1
-1
-1
-1
0,0693
-1
1
-1
-1
0,2733
-1
-1
1
-1
0,2381
1
1
1
1
0,0001 0,7769 -0,1073 -0,0681 -0,0593 0,0977
0,0000 0,0971 -0,0134-0,0085 -0,0074 0,0122
0,2561
0,1798
Resultados Obtidos (6 processadores, sequencial)
 Relevância dos parâmetros:
 MK = 3,42%
 WT = 0,00%
 CC = 92,12%
 MK.WT = 1,76%
 MK.CC = 0,71%
 WT.CC = 0,54%
 MK.WT.CC = 1,46%
Resultados Obtidos (4 processadores, sequencial)
MK
WT
CC
MK.WT
MK.CC
WT.CC
MK.WT
.CC
I
1
1
1
1
1
1
MK
1
-1
-1
1
1
-1
WT
-1
1
-1
1
-1
1
CC
-1
-1
1
-1
1
1
1
1
1
1
MK.WT
MK.WT MK.CC WT.CC .CC
Mean
-1
-1
1
1
0,0632
-1
1
-1
1
-0,0301
1
-1
-1
1
0,1931
1
-1
-1
-1
0,0587
-1
1
-1
-1
0,2056
-1
-1
1
-1
0,1845
1
1
1
1
Total
0,9033 0,2083 -0,0205 0,7197 0,0569 -0,0957 0,0487 0,0057
Total/8 0,1129 0,0260 -0,0026 0,0900 0,0071 -0,0120 0,0061 0,0007
0,2283
0,1290
Resultados Obtidos (4 processadores, sequencial)
 Relevância dos parâmetros:
 MK = 7,53%
 WT = 0,07%
 CC = 89,83%
 MK.WT = 0,56%
 MK.CC = 1,59%
 WT.CC = 0,41%
 MK.WT.CC = 0,01%
Resultados Obtidos (6 processadores, LS)
MK
WT
CC
MK.WT
MK.CC
WT.CC
MK.WT
.CC
I
1
1
1
1
1
1
MK
1
-1
-1
1
1
-1
WT
-1
1
-1
1
-1
1
CC
-1
-1
1
-1
1
1
1
1
1
1
Total
1,8964 0,2440
Total/8 0,2371 0,0305
MK.WT
MK.WT MK.CC WT.CC .CC Mean
-1
-1
1
1
0,2049
-1
1
-1
1
0,1698
1
-1
-1
1
0,3337
1
-1
-1
-1
0,1726
-1
1
-1
-1
0,3540
-1
-1
1
-1
0,3227
1
1
1
1
0,1112 0,8018 -0,2064 -0,1714 -0,1638 0,1978
0,0139 0,1002 -0,0258 -0,0214 -0,0205 0,0247
0,3387
0,2709
Resultados Obtidos (6 processadores, LS)
 Relevância dos parâmetros:
 MK = 6,98%
 WT = 1,45%
 CC = 75,39%
 MK.WT = 5,00%
 MK.CC = 3,45%
 WT.CC = 3,15%
 MK.WT.CC = 4,59%
Resultados Obtidos (4 processadores, LS)
MK
WT
CC
MK.WT
MK.CC
WT.CC
MK.WT
.CC
I
1
1
1
1
1
1
MK
1
-1
-1
1
1
-1
WT
-1
1
-1
1
-1
1
CC
-1
-1
1
-1
1
1
1
1
1
1
Total
1,8636 0,3330
Total/8 0,2330 0,0416
MK.WT
MK.WT MK.CC WT.CC .CC
-1
-1
1
1
-1
1
-1
1
1
-1
-1
1
1
-1
-1
-1
-1
1
-1
-1
-1
-1
1
-1
1
1
1
1
0,1402 0,7640 -0,1096 -0,2382 -0,1162 0,1624
0,0175 0,0955 -0,0137 -0,0298 -0,0145 0,0203
Mean
0,2108
0,1321
0,3202
0,2069
0,3307
0,3130
0,3499
0,2662
Resultados Obtidos (4 processadores, LS)
 Relevância dos parâmetros:
 MK = 13,48%
 WT = 2,39%
 CC = 70,93%
 MK.WT = 1,46%
 MK.CC = 6,90%
 WT.CC = 1,64%
 MK.WT.CC = 3,21%
Projeto de Experimentos
RENATA CARVALHO