Carlos Alberto Kamienski ([email protected])
UFABC
Avaliação de Desempenho
Simulação
Média do índice de justiça
100
95
Fases
1
90
2
5
85
10
80
75
0
20
1
30
2
40
3
50
4
Carga (chamadas - x 1000)
60
5
6
Roteiro
Motivação e objetivos
Simulação de sistemas
Simulando a Internet
O simulador de redes ns
Exemplos de simulação com o ns
Estudo de caso
2
O papel da simulação
Técnicas para explorar e compreender o
comportamento da Internet:

Medição

Experimentação

Análise (modelagem analítica)

Simulação
Medição, análise e simulação são tipicamente
usadas para avaliação de desempenho de
sistemas (Raj Jain, 1991)
5
Simulação
Técnica para avaliação de sistemas:

Prever desempenho

Comparar alternativas
Consiste na construção e execução de programas
Permite construir modelos mais complexos e representativos do
mundo real
Problemas:




Extrapolações indevidas
Pequenas variações no modelo podem produzir resultados
contraditórios
Pode esconder bugs nos programas
Modelagem inadequada
6
Erros comuns em simulação
Nível de detalhes não apropriado
Linguagem de programação inadequada
Modelos incorretos (bugs ou incorreções)
Inexistência ou má definição de objetivos
Tratamento incorreto de:

Condições iniciais

Condições finais

Tempo de simulação
7
Erros comuns em simulação
(cont.)
Geradores de números aleatórios
Escolha inadequada de sementes
Escolha de métricas incorretas
Carga de trabalho não representativa
Topologias inadequadas e irreais
8
Tipos de simulação
Simulação de Monte Carlo

Execução de replicações para estimar parâmetros
Simulação baseada em traces

Entrada da simulação são traces (ex: pacotes coletados em redes

Vantagem: credibilidade

Desvantagem: limitação e influência da rede real
Simulação discreta baseada em eventos


Modelo de estados discretos
Simplificando: eventos são armazenados em uma lista encadeada
por ordem de ocorrência e um escalonador os executa em seqüência
 Evento = chegada de um pacote, pedido de conexão TCP etc
9
Linguagens de simulação
Variam de linguagens de propósito geral até ambientes
completos de simulação
Diferenças:

Curva de aprendizagem

Tempo de desenvolvimento

Desempenho (tempo de simulação)

Escalabilidade

Flexibilidade
Linguagens/ambiente:

C/C++ (ou outra linguagem de propósito geral)

GPSS, SIMSCRIPT
10
Planejamento da simulação
Definição clara e precisa dos objetivos
Escolha de métricas adequadas
Escolha correta de:

Parâmetros: aspectos que influenciam a simulação

Fatores: parâmetros variados na simulação

Níveis: valores dos fatores
Projeto de experiências

Combinações de fatores e níveis

Quantidade de replicações
Análise, interpretação e apresentação dos resultados da
simulação
11
Análise dos resultados
Validação e verificação do modelo



Qualidade de um modelo: proximidade com resultados
reais
Validação: considerações são aceitáveis?
Verificação: o modelo implementa corretamente as
considerações?
12
Análise dos resultados
Condições iniciais e finais

Estudo do estado estacionário (geralmente)

Estado transiente deve ser removido
 Identificação do ponto exato é impossível

Técnicas de tratar estado transiente:
 Simulações longas
 Iniciar simulação já no estado estacionário
 Truncamento do estado transiente

Tempo de simulação
 Intervalo de confiança
 Número de replicações
13
Carlos Alberto Kamienski ([email protected])
UFABC
Avaliação de Desempenho
Simulação
Média do índice de justiça
100
95
Fases
1
90
2
5
85
10
80
75
0
20
1
30
2
40
3
50
4
Carga (chamadas - x 1000)
60
5
6