UFABC
Pós-graduação em Engenharia da Informação
Professor: Carlos Alberto Kamienski ([email protected])
Avaliação de Desempenho
Média do índice de justiça
100
95
Fases
1
90
2
5
85
10
80
75
0
20
1
30
2
40
3
50
4
60
5
6
Carga (chamadas - x 1000)
Santo André, Fevereiro de 2012
Internet
2
Avaliação de Desempenho (AD)
Desempenho é um item essencial em uma rede
de computadores ou um sistema computacional


Rede/sistema lenta/o é irritante
Obter maior desempenho pelo menor preço
É comum uma rede lenta, onde ninguém (nem
os administradores) sabe o motivo!
Portanto, saber avaliar o desempenho de uma
rede também é essencial para profissionais da
área
3
Objetivos
1. Comparar alternativas
2. Escolher valores ótimos para
determinados parâmetros
Primeiros passos: selecionar

Métricas corretas

Ambiente de avaliação correto

Técnica correta
4
Necessidade de AD
AD é necessária em vários estágios





Projeto, fabricação, venda/compra, uso, atualização, etc.
Comparar alternativas de projeto e escolher a melhor
Comparar diferentes sistemas / fabricantes para obter o
melhor desempenho das aplicações
Investigar problemas de desempenho e propor soluções
Avaliar necessidade de atualização (custa caro!!)
Exemplo: o acesso à Internet está lento


Deve-se aumentar a capacidade do enlace para não
prejudicar as atividades da empresa?
Ou, existe algum usuário/aplicação que está produzindo
congestionamento no roteador indevidamente?
5
Exemplos - Medição
6
Exemplos - Medição
http://www.rnp.br/ceo/trafego/index.php
7
Exemplos - Medição
8
Exemplos - Medição
http://www.visualroute.com
9
Exemplos - Medição
10
Exemplos – Medição
http://www.netsizer.com
11
Exemplos – Medição
12
Exemplos - Simulação
13
Exemplos - Simulação
70
60
Vazão (Kbps)
50
40
30
melhor esforço
20
DiffServ
IntServ
10
0
0
5
50
Carga (número de fontes de retaguarda)
14
Exemplos - Simulação
Pareto - RS
0,95
0,9
0,85
0.65
0,8
0.7
0.75
0,75
0.8
0,7
0.85
0,65
0.9
0.95
0,6
0,55
0,5
0
11
22
53
4
10
5
20
6
50
7
100
8
1000
9
15
Exemplos - Simulação
100
Vazão (Kbps)
80
60
0
5
40
50
20
0
1
21
41
61
Tempo de simulação (segundos)
16
Exemplos - Simulação
90
melhor esforço
80
DiffServ
IntServ
Atraso (ms)
70
60
50
40
30
20
0.5
10
1.5
25
2.5
350
Carga (número de fontes de retaguarda)
3.5
17
Exemplos - Simulação
100
Atraso (ms)
80
0
60
5
50
40
20
0
1
21
41
61
Tempo de simulação (segundos)
18
Exemplos - Simulação
11
Tmed = 10
10
Tmed = 1
Vazão (Mbps)
9
8
7
6
5
Tráfego de Voz
Preditor, Tmed = 10
Preditor, Tmed = 1
4
3
500
1000
1500
2000
2500
3000
3500
4000
Tempo (segundos)
19
Exemplos - Simulação
20
Erros comuns em AD
Não ter objetivos!
Objetivos tendenciosos
Abordagem não sistemática
Métricas de desempenho inadequadas
Carga de trabalho não representativa
Técnica de avaliação errada
Ignorar fatores importantes
21
Erros comuns em AD
Projeto de experimentos não apropriado
Nível de detalhe não apropriado
Análise de resultados




Analisar resultados sem entender o problema!
Não analisar resultados
Fazer análises erradas
Apresentar evidências como fatos conclusivos
Ignorar erros de entrada e outliers
Ignorar variabilidade nas amostras (usar médias)
Apresentação inadequada dos resultados
22
Abordagem Sistemática
1.
Formular os objetivos e definir o sistema
2.
Listar serviços e resultados
3.
Selecionar métricas
4.
Listar parâmetros
5.
Selecionar fatores e níveis
6.
Selecionar técnica de avaliação
7.
Escolher carga de trabalho
8.
Projetar os experimentos
9.
Analisar e interpretar os dados
10. Apresentar os resultados
23
Seleção de Técnicas
Técnicas utilizadas para AD



Modelagem analítica
Simulação
Medição
Critérios





Estágio do ciclo de vida da rede
Tempo disponível para avaliação
Disponibilidade de ferramentas
Nível de precisão exigido
Conhecimento da técnica
24
Modelagem analítica
Possibilita explorar um modelo sobre o qual se tem
controle
Modelos matemáticos simplificados geram resultados
rapidamente
Técnica barata: lápis, papel e cérebro
Muitos pressupostos e abstrações são feitas

Pode-se perder o comportamento original
Exemplo: sistemas de filas
25
Simulação
Técnica para avaliação de de sistemas:


Prever desempenho
Comparar alternativas
Consiste na construção e execução de programas
Simulação permite construir modelos mais complexos e
representativos do mundo real
Problemas:



Extrapolações indevidas
Pequenas variações modelo podem produzir resultados
contraditórios
Pode esconder bugs nos programas
26
Medição
Técnica fundamental para a compreensão do
comportamento de uma rede de computadores
Aplicações:

Avaliar padrões e volume de tráfego

Descobrir como os pacotes são roteados

Avaliar a vazão e perda de pacotes em determinado roteador

Identificar o atraso entre dois computadores

Identificador locais e causas de congestionamento
Problema: o que, por que, onde, como, quando, quem
27
Seleção de métricas
Métricas que avaliam resultados

Tempo: mede agilidade

Taxa: mede produtividade

Recurso: mede utilização
Métricas que avaliam disponibilidade

Velocidade: serviço ativo

Confiabilidade: erro

Disponibilidade: possibilidade de utilização
28
Métricas comuns em redes
Vazão (bits, pacotes)
Atraso (em um sentido – one-way, ida e volta - rtt)
Variação do atraso
Perda de pacotes
Tamanho das filas
Taxa de colisão (Ethernet)
Utilização média da rede (Ethernet)
Percentual de tráfego por protocolo
29
Primeiro Passo
Selecionar

Métricas corretas

Ambiente de avaliação correto

Técnica correta
30
UFABC
Pós-graduação em Engenharia da Informação
Professor: Carlos Alberto Kamienski ([email protected])
Avaliação de Desempenho
Média do índice de justiça
100
95
Fases
1
90
2
5
85
10
80
75
0
20
1
30
2
40
3
50
4
Carga (chamadas - x 1000)
60
5
6