Simulação Transiente
Professores: Paulo Maciel / Ricardo Massa
Alunos: Mabson Santos
Sálvio Freire
Agenda:
• Sistemas Terminantes vs Sistemas Não Terminantes
• Análise da replicação
• Executando simulações
• Análise estatística
Sistemas Terminantes vs Não terminantes
• Diferem em:
– Condições Iniciais
– Existência de Evento de Término Natural
Sistemas Terminantes vs Sistemas Não Terminantes
– Sistemas Terminantes
• Sistema começa com sem entidades
• Possuem evento de término
• Não utilizam entidades de um período de tempo anterior
• Ex: Banco, Horário de Almoço em um Restaurante
Sistemas Terminantes vs Sistemas Não-Terminantes
– Sistemas Não-Terminantes
• Não possuem tempo de início e tempo de término
• Geralmente começam com entidades de tempos anteriores
• Exemplo: Hospitais
Análise da replicação
– Selecionar número de replicações
– Colocar um número pequeno pode ser insuficiente para análise
– Número muito grande pode levar tempo para análise
– Número inicial recomendado: 10
Análise da replicação (Continuação)
– Inicialmente devemos calcular:
• Média das Médias das Replicações
• Desvio Padrão
• Erro Padrão (Standard Error) – indica o grau de dispersão
em torno deste valor médio
Análise da replicação (Continuação)
– Deve-se calcular um erro Padrão, dado por:
– Onde:
• t = distribuição t para 1-α / 2 com n-1 graus de liberdade
• s = Desvio padrão das medias das replicações
• n = numero de observações da amostra
Cálculo do desvio padrão amostral:
• Onde:
– s = desvio padrão amostral
– xi barra = média das replicações
– x barra barra = média das médias das replicações
– n = número de replicações
Precisão Absoluta
– Define-se de uma forma arbitrária um valor para precisão
– Temos o problema de achar um valor apropriado para este nível
de precisão
Precisão Absoluta
– Fórmula dada por:
– Modificando ela, temos:
Precisão Relativa
• Não temos necessidade de definir um valor arbitrário para
precisão
• Erro padrão deve ser pequeno na comparação da média
amostral (aprox 10% da média amostral) (Law and Kelton,
2000)
• Finalidade de comparar erro padrão com a média
Precisão Relativa
• Dada por:
• Rearranjando a fórmula, temos:
– Onde i é o número de replicações necessárias para
atingir uma tal precisão
Executando simulações:
– A análise de replicação deve ser realizada para cada alternativa
individual
– Algumas alternativas exigirão mais ou menos repetições do que
outros
– Então, todas as alternativas devem ser executadas o número
máximo de repetições exigido por qualquer alternativa
– É recomendado executar 10 repetições para todas as
alternativas inicialmente
• Exemplo – Segurança em Aeroportos
• Exemplo (Continuação) - Cenários
• Exemplo (Continuação) – Cenários
• Para alcançar um nível de precisão de 0.10
Alternativa E – total de replicações necessárias é 65
• O número de simulações a serem executadas é dado por:
Total de Simulações = Nº Máximo de Replicações * quantidade de
alternativas
• Se a precisão relativa for menor que 0.1, então este número de
replicações é suficiente
Análise Estatística:
• Comparação entre dois modelos
- Intervalo de Confiança
- Teste de Hipótese
• Comparação entre três ou mais modelos
- Análise da Variância
- Duncan multiple-range test
Comparação entre dois modelos:
• Intervalo de confiança. Determina o intervalo qual a diferença
entre os dois modelos deverá ser normalmente esperado. Se o
modelo é estatisticamente similar, a expectativa é que a diferença
dos valores médios das replicações sejam zero (o intervalo de
confiança incluir o valor 0).
- Intervalo de confiança Welch
- Teste t emparelhada
• Teste de Hipótese. Utilizado para aceitar ou recusar uma hipótese
nula, onde a Ho é normalmente que não existe diferença entre os
modelos e H1 que existe diferença entre os modelos.
Intervalo de Confiança Welch:
• Dados normais e variâncias diferentes.
• Cálculo:
1. Grau de liberdade
2. Intervalo de confiança
Observação: Se o IC incluir o 0, não existe diferença entre os modelos.
Intervalo de Confiança Welch:
• Cálculo do Grau de Liberdade
Intervalo de Confiança Welch:
• Cálculo do Intervalo de Confiança Welch
Intervalo de Confiança Welch – Exemplo:
• Simular duas políticas de segurança em um aeroporto, avaliando as
alternativas pela métrica do tempo do sistema.
• Alternativa A:
02 pessoas para verificar o ticket,
pessoas/máquinas de raio-x, 02 pessoas/detectores de metal.
02
• Alternativa B:
03 pessoas para verificar o ticket,
pessoas/máquinas de raio-x, 01 pessoas/detectores de metal.
02
Teste t emparelhada:
• Comparação relacionadas com o mesmo modelo.
• Before-and-After Comparison.
• Cálculo:
1. Nova variável baseada nas médias dos pares das
replicações.
2. Intervalo de Confiança da nova variável.
Observação: Se o IC incluir o 0, não existe diferença entre os modelos.
Teste t emparelhada:
• Cálculo para a nova variável
Teste t emparelhada:
• Cálculo no Intervalo de Confiança para a nova variável
Teste t emparelhada – Exemplo:
• Avaliação do atraso médio de uma comunicação VoIP, em um
dispositivo móvel, em uma Rede Mesh.
• Alternativa A: 10 pontos de acesso.
• Alternativa B: 15 pontos de acesso.
Comparação entre três ou mais modelos:
• A comparação entre três ou mais modelos envolve dois
procedimentos:
1. Análise da Variância (ANOVA). Usada para determinar se
existe diferença significante entre uma ou mais médias de
modelos diferentes. Se não existir médias diferentes,
concluímos a análise.
2. Duncan multiple-range test. Utilizado para determinar
qual média é diferente das demais.
Anova:
• Os dados amostrais são separados em grupos de acordo com uma
característica, ou fator.
Fator 1
Desktop
Notebook
Nacional
9
8
8
10
7
10
8
6
7
9
7
Fator 2
Multinacionais
8
7
7
10
10
9
6
8
10
8
9
ANOVA – Exemplo:
• Comparar o desempenho de quatro protocolo de roteamento para
rede ad-hoc sem fio.
Replicação
1
2
3
4
5
Média
Média Geral
AODV
2,03
0,27
0,42
1,07
2,38
1,234
0,174
DSR
1,34
0,14
0,02
0,08
0,08
0,332
ABR
0,15
0,02
0,16
0,37
0,22
0,184
TORA
0,23
0,04
0,34
0,16
0,05
0,164
ANOVA – Exemplo:
• Calcular a estatística de teste F
1. Calcular a soma total dos quadrados;
2. Calcular a soma de quadrados entre as amostras;
3. Calcular a soma de quadrados dentro das amostras;
4. Calcular a média quadrática entre as amostras;
5. Calcular a média quadrática dentro das amostras;
6. Calcular a estatística de teste F.
ANOVA – Exemplo:
• Calcular a estatística de teste F
1. Calcular a soma total dos quadrados;
SQ
Entre amostras
Dentro das amostras
Total
8,861
gl
MQ
F
F crítico
ANOVA – Exemplo:
• Calcular a estatística de teste F
2. Calcular a soma de quadrados entre as amostras;
Entre amostras
Dentro das amostras
Total
SQ
3,889
8,861
gl
MQ
F
F crítico
ANOVA – Exemplo:
• Calcular a estatística de teste F
3. Calcular a soma de quadrados dentro das amostras;
where,
SST = Sum of squares total (1)
SSB = Sum of squares between (2)
SSW = Sum of squares within
Entre amostras
Dentro das amostras
SQ
3,889
4,971
Total
8,861
gl
MQ
F
F crítico
ANOVA – Exemplo:
• Calcular a estatística de teste F
4. Calcular a média quadrática entre as amostras;
Entre amostras
Dentro das amostras
SQ
3,889
4,971
Total
8,861
gl
MQ
1,296
F
F crítico
ANOVA – Exemplo:
• Calcular a estatística de teste F
5. Calcular a média quadrática dentro das amostras;
Entre amostras
Dentro das amostras
SQ
3,889
4,971
Total
8,861
gl
MQ
1,296
0,311
F
F crítico
ANOVA – Exemplo:
• Calcular a estatística de teste F (a partir dos dados anteriores)
Entre amostras
Dentro das amostras
SQ
3,889
4,971
Total
8,861
gl
MQ
1,296
0,311
F
F crítico
4,173
Entre amostras
Dentro das amostras
SQ
3,889
4,971
Total
8,861
gl
3
16
MQ
1,296
0,311
F
F crítico
3,239
4,173
Entre amostras
Dentro das amostras
SQ
3,889
4,971
Total
8,861
gl
3
16
MQ
1,296
0,311
F
F crítico
3,239
4,173
Se a estatística do teste F é menor que o valor crítico, não podemos rejeitar H0
Se a estatística do teste F é maior que o valor crítico, rejeitamos H0
Duncan multiple-range test
• Executado depois que H0 ANOVA foi rejeitada.
• Sabemos que existe uma ou mais médias que são diferentes.
• Indica qual média é diferente das demais alternativas em um
particular nível de confiança.
• A ideia do teste é comparar o range (máximo-mínimo) de conjuntos
de médias adjacentes com um valor calculado crítico.
Duncan multiple-range test – Procedimento:
• Ordenar as médias das replicações de cada alternativa (menor para
maior).
• Calcular o valor crítico da diferença mínima significativa (2 passos).
• Comparar o range das médias adjacentes com o correspondente
valor da diferença mínima significativa.
• Analisar o resultado. Se o resultado do range das médias é maior
que o valor da diferença mínima significativa, existe uma diferença
entre as médias.
Duncan multiple-range test – Procedimento:
• Ordenar as médias das replicações de cada alternativa (menor para
maior).
Ranking
1
2
3
4
Replicações
TORA
ABR
DSR
AODV
1
0,23
0,15
1,34
2,03
2
0,04
0,02
0,14
0,27
3
0,34
0,16
0,02
0,42
4
0,16
0,37
0,08
1,07
5
0,05
0,22
0,08
2,38
Média
0,164
0,184
0,332
1,234
Duncan multiple-range test – Procedimento:
• Calcular o valor da diferença mínima significativa.
1° - Desvio Padrão da média:
Entre amostras
Dentro das amostras
SQ
3,889
4,971
Total
8,861
gl
3
16
MQ
1,296
0,311
F
F crítico
3,239
4,173
Duncan multiple-range test – Procedimento:
• Calcular o valor da diferença mínima significativa.
2° - Valor da diferença mínima significativa:
*
α = 0,05 / gl = 16
P
r
2
2,998
3
3,144
4
3,235
P
R
2
0,747
3
0,784
4
0,806
Duncan multiple-range test – Procedimento:
• Comparar as médias adjacentes com o correspondente valor da
diferença mínima significativa.
Ranking
Média
1
2
3
4
TORA
ABR
DSR
AODV
0,164
0,184
0,332
1,234
P
R
2
0,747
3
0,784
4
0,806
TORA - AODV = 0,164 - 1,234 = -1,07
1,07 > 0,806
Se o range das médias é maior que o valor da diferença mínima significativa, existe uma diferença entre as médias.
Duncan multiple-range test – Procedimento:
• Comparar as médias adjacentes com o correspondente valor da
diferença mínima significativa.
Ranking
Média
1
2
3
4
TORA
ABR
DSR
AODV
0,164
0,184
0,332
1,234
P
R
2
0,747
3
0,784
4
0,806
TORA – DSR = 0,164 - 0,332 = -0,168
0,168 < 0,784
ABR – AODV = 0,184 - 1,234 = -1,05
1,05 > 0,784
Se o range das médias é maior que o valor da diferença mínima significativa, existe uma diferença entre as médias.
Duncan multiple-range test – Procedimento:
• Comparar as médias adjacentes com o correspondente valor da
diferença mínima significativa.
Ranking
Média
1
2
3
4
TORA
ABR
DSR
AODV
0,164
0,184
0,332
1,234
P
R
2
0,747
3
0,784
4
0,806
TORA – ABR = 0,164 - 0,184 = -0,016
0,016 < 0,747
ABR – DSR = 0,184 - 0,332 = -0,148
0,148 < 0,747
DSR – AODV =0,332 - 1,234 = -0,902
0,902 > 0,747
Se o range das médias é maior que o valor da diferença mínima significativa, existe uma diferença entre as médias.
Duncan multiple-range test – Procedimento:
• Analisar Resultado.
Ranking
Média
1
2
3
4
TORA
ABR
DSR
AODV
0,164
0,184
0,332
1,234
TORA - AODV = 0,164 - 1,234 = -1,070
TORA - DSR = 0,164 - 0,332 = -0,168
ABR - AODV = 0,184 - 1,234 = -1,050
TORA - ABR = 0,164 - 0,184 = -0,016
ABR - DSR = 0,184 - 0,332 = -0,148
DSR - AODV =0,332 - 1,234 = -0,902
1,070 > 0,806
0,168 < 0,784
1,050 > 0,784
0,016 < 0,747
0,148 < 0,747
0,902 > 0,747
P
R
2
0,747
3
0,784
4
0,806
Alternativas Diferentes
Alternativas Semelhantes
Alternativas Diferentes
Alternativas Semelhantes
Alternativas Semelhantes
Alternativas Diferentes
Se o range das médias é maior que o valor da diferença mínima significativa, existe uma diferença entre as médias.
Revisão:
•
Sistemas Terminantes vs Sistemas Não Terminantes
•
Análise da replicação
– Selecionando o nível de precisão
•
Executando simulações
•
Análise estatística
– Comparação entre dois modelos
• Intervalo de Confiança Welch
• Teste t emparelhado
– Comparação entre três modelos
• ANOVA
• Duncan Test