Avaliação de Desempenho de Sistemas
Projeto e Análise de Experimentos
Paulo Adeodato
Departamento de Informática
Universidade Federal de Pernambuco
© 2000 Paulo Adeodato
Conteúdo
Introdução
 Exemplo
 Terminologia
 Erros Comuns em Experimentação
 Tipos de Projetos Experimentais

© 2000 Paulo Adeodato
Introdução

Por que fazer experimentos?

Um pouco de história e ciência
• Teoria da relatividade restrita
• Teoria geral da relatividade

Exemplos cômicos de experimentação
• O bêbedo
• A aranha...
© 2000 Paulo Adeodato
O que se deseja aprender ?







Projetar um conjunto adequado de experimentos de
medição ou simulação
Desenvolver um modelo que melhor descreva os dados
obtidos
Estimar a contribuição de cada alternativa no
desempenho
Isolar erros de medição
Estimar intervalos de confiança para os parâmetros do
modelo
Verificar se as alternativas são significativamente
diferentes
Verificar se o modelo é adequado ...
© 2000 Paulo Adeodato
Exemplo

Projeto de uma estação de trabalho pessoal.
• Processador: 68000, Z80 ou 8086
• Tamanho da memória: 512K, 2M ou 8M bytes
• Número de discos: Um, dois, três ou quatro
• Carga de trabalho: secretarial, gerencial ou científica
• Grau de educação do usuário: 2o grau, superior ou pósgraduação...
© 2000 Paulo Adeodato
Terminologia-1

Variável de resposta: Resultado
• Ex.: vazão, tempo de resposta

Fatores: Variáveis que afetam a variável de resposta.
• Ex.: tipo da CPU, tamanho da memória, número de unidades de
disco, carga de trabalho utilizada e grau de educação do usuário.
• São também chamadas de variáveis de predição ou preditores

Níveis: Os valores que um fator pode assumir
• Ex.: o tipo da CPU tem três níveis: 68000, 8080 ou Z80.
• O número de discos tem quatro níveis.
• Também chamado de tratamento ...
© 2000 Paulo Adeodato
Terminologia-2

Fatores Primários: Os fatores cujos efeitos devem ser
quantificados.
• Ex.: tipo da CPU, comprimento da memória e número de discos

Fatores secundários: Fatores cujos efeitos não precisam
ser quantificados.
• Ex.: As cargas de trabalho.


Replicação: Repetição de alguns ou de todos os
experimentos.
Projeto: O conjunto de número de experimentos, os
níveis dos fatores e o número de replicações para cada
experimento.
• Ex.: Projeto fatorial completo com 5 replicações: 3 x 3 x 4 x 3 x
3 ou 324 experimentos, cada um repetido cinco vezes (=1620).
© 2000 Paulo Adeodato
Terminologia-3

Unidade experimental: Qualquer entidade que for
utilizada para os experimentos.
• Ex.: Usuários. Geralmente não há interesse em comparar as
unidades.
• Objetivo: minimizar o impacto da variação entre as unidades.

Interação  O efeito de um fator depende do nível de
um outro fator...
© 2000 Paulo Adeodato
Erros Comuns em Experimentação

1. Ignorar a variação devida a erros experimentais

2. Não controlar parâmetros importantes

3. Não isolar os efeitos de diferentes fatores

4. Uso de projetos simples: variar um fator por vez

5. Ignorar as interações

6. Realizar demasiados experimentos
É melhor dividir o projeto em duas fases...
© 2000 Paulo Adeodato
Tipos de Projetos Experimentais-1

Projetos Simples: Varia um fator por vez
k
N o de experim entos 1   (ni  1)
i 1
• Não é estatisticamente eficiente.
• Leva a conclusões erradas se os fatores interagirem.
• Não são recomendados.

Projeto fatorial completo: Todas as combinações
k
N o de experim entos  ni
i 1
• Pode encontrar o efeito de todos os fatores.
• Demasiado tempo e dinheiro.
• Deveria tentar antes o projeto 2k...
© 2000 Paulo Adeodato
Tipos de Projetos Experimentais-2

Projetos Fatoriais Fracionários: Economiza tempo e
recursos
• Menos informação
• Pode não determinar todas as interações
• Isto não é um problema se as interações forem desprezíveis...
© 2000 Paulo Adeodato
Referências Bibliográficas

Raj Jain (1991)
The Art of Computer Systems Performance Analysis:
Techniques for Experimental Design, Measurement and
Modeling
John Wiley & Sons
Capítulos 16, 17, 19, 20
© 2000 Paulo Adeodato