O Serviço Experimental MonIPÊ Estratégias de Medição Ativa e Análise de Resultados Edison Melo Equipe MonIPÊ [email protected] [email protected] http://wiki.monipe.rnp.br 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 Agenda • Matrizes de Medição • Análise de resultados – Métricas e aplicabilidade – Gráficos CACTISonar – Testes Regulares – Resultados • Ferramentas – Análises de eventos • Parâmetros de – Conclusões medições • Matriz de medições – Testes sob Demanda • Na última milha 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 Métricas e aplicabilidade (1) • Atraso em um sentido – Detecção de sintomas de congestionamento – Medição de alta precisão, – Validar aplicação na rede (ex: VoIP, Vídeo) • Atraso de ida e volta – Identificar congestionamento na rede – Identificar baixo desempenho em TCP em links de alta velocidade – Medir a disponibilidade de dispositivos de rede – Estimar o atraso sem a necessidade de sincronização de relógios 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 3 Métricas e aplicabilidade (2) • Variação do atraso em um sentido • Predição de desempenho de aplicações sensíveis a variação do atraso (VoIP) – Dimensionamento do de-jitter buffer – Detecção de sintomas de congestionamento • Perda de pacotes • Congestionamento e erros são as duas maiores razões para a perda de pacotes 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 4 Métricas e aplicabilidade (3) • Largura de banda alcançável (TCP/UDP) – Certificação do enlace contratado, – Dimensionamento de aplicações, – Simulação e aplicação rodando na rede • Métricas Derivadas MOS – Métrica subjetiva para avaliar capacidade da rede para suportar VoIP – Estimativa do valor através de parâmetros da rede (atraso, variação do atraso e perdas) 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 5 Classificação dos Testes • Testes Regulares • Realizados periodicamente • Configuração fixa • Utiliza a malha de medição e parâmetros “fixos” • Utilizado para simulação do comportamento de aplicações • Análise de tendências da rede • Testes sob Demanda • Usuários autorizados – Utilizado para certificação de enlaces entre PoPs e instituições – Obtenção de resultados em tempo real • Usuários em geral – Utilizado para medição da última milha 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 6 Testes Regulares • Ambiente de medições – CACTISonar, perfSONAR CL-MP e perfSONAR MA • Ferramentas e Métricas – OWAMP • • • • • Medição do atraso em um sentido Perdas em um sentido Cálculo da variação do atraso Cálculo do MOS Outras métricas derivadas – BWCTL • Largura de banda alcançável em TCP • Largura de banda alcançável em UDP • Outras métricas derivadas 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 7 Testes Regulares – Malha de medição 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 8 Testes Regulares - OWAMP • Parâmetros de medição – OWAMP (Full Mesh) – O propósito da malha de medição (full mesh) é ter uma visão geral do estado da rede identificando individualmente o estado da comunicação entre todos os PoPs – Periodicidade • De 5 em 5 minutos – Pacotes de teste: 10 pacotes por fluxo de teste – Tamanho do pacote: 42 Bytes • 20 Bytes: IP • 8 Bytes: UDP • 14 Bytes: Payload – Intervalo entre pacotes de teste: 10 pacotes por segundo – Largura de banda para medição: ~3,36Kbps por fluxo – Impacto na rede: Desprezível 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 9 Testes Regulares – OWAMP (2) Malha de medição rede IPÊ – OWAMP (Full Mesh) • Medição entre os PoPs (Full Mesh) • Instituições medem com o PoP diretamente conectado • Um ciclo de medição a cada 5 minutos • 289 medições por ciclo • Agendamento: CACTISonar MA Central - Escalamento: CL-MP NPctes/fluxo Tam Pctes Bytes/fluxo Bits / fluxo Kbbps Fluxos No Pcotes por fluxo 14+20+8 NPctes * Tam-Pctes Bytes/fluxo * 8 Bits/fluxo / 1000 No Fluxos de medição 10 42 420 3360 3,36 289 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 +9 PoPs =30,24 => 87,36 10 Testes Regulares – OWAMP (3) Simulação de fluxo de voz – g.711 • O objetivo desta medição periódica é obter indicadores de desempenho da rede na presença de tráfego de voz utilizando o codec g.711 • Protocolo: UDP • Periodicidade: – De 60 em 60 minutos • Duração do teste: 3 minutos • PPS: 50 • Tamanho do pacote: 200 Bytes – – – – – – 20 Bytes – cabeçalho IP 8 Bytes – UDP 12 Bytes – RTP 160 Bytes - Payload Consumo de banda: 80Kbps por fluxo Impacto na rede: Baixo 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 11 Testes Regulares – OWAMP (4) Malha de medição rede IPÊ – Simulação Fluxo g.711 Destino / 1 2 3 4 5 6 7 8 9 Origem AC AM AP BA CE DF ES MG MT 1 AC 80 2 AM 80 3 AP 80 4 BA 80 5 CE 80 6 DF 80 80 80 80 80 80 80 80 7 ES 80 8 MG 80 9 MT 80 10 PA 80 11 PE 80 12 PR 80 13 RJ 80 14 RN 80 15 RR 80 16 RS 80 17 SC 80 18 SP 80 Kbps 80 80 80 80 80 1360 80 80 80 PPS 50 50 50 50 50 850 50 50 50 • Fluxos com origem e destino em Brasília • Um ciclo de medição de 3 minutos a cada 60 minutos • 34 medições por ciclo • Agendamento: CACTISonar MA Central Escalamento: CL-MP Armazenamento: MA-SQL 10 11 12 13 14 15 16 17 18 PA PE PR RJ RN RR RS SC SP 80 80 80 80 80 80 80 80 80 80 80 80 80 80 80 80 80 80 50 50 50 50 50 50 50 50 50 Kbps PPS 80 50 80 50 80 50 80 50 80 50 1360 850 80 50 80 50 80 50 80 50 80 50 80 50 80 50 80 50 80 50 80 50 80 50 80 50 2.640 1700 Simulção de chamada com G.711 Kbbps 80 Destino / 1 Duração 3min Origem AM Fluxos 34 1 AM 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 12 Testes Regulares – OWAMP (5) Simulação de fluxo de voz – g.729 • O objetivo desta medição periódica é obter indicadores de desempenho da rede na presença de tráfego de voz utilizando o codec g.729. • Protocolo: UDP • Periodicidade: – De 30 em 30 minutos • Duração do teste: 3 minutos • PPS: 50 • Tamanho do pacote: 60 Bytes – – – – 20 Bytes – cabeçalho IP 8 Bytes – UDP 12 Bytes – RTP 28 Bytes - Payload • Consumo de banda: 24 Kbps • Impacto na rede: Baixo 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 13 Testes Regulares – OWAMP (6) Malha de medição rede IPÊ – Simulação Fluxo g.729 • Fluxos com origem e destino em Brasília • Um ciclo de medição de 3 minutos a cada 30 minutos • 34 medições por ciclo • Agendamento: CACTISonar MA Central Escalamento: CL-MP Armazenamento: MA-SQL Destino / Origem 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 14 Testes Regulares – Bwctl Parâmetros de medição BWCTL – Medição TCP • Esta medição tem como objetivo identificar a largura de banda alcançável entre dois pontos finais. • Periodicidade • De 60 em 60 minutos • Duração do teste – 10 segundos • Tamanho da janela TCP – Otimizada pelo BDP • Consumo de banda: Deve utilizar toda a banda disponível até o limite da capacidade da interface • Impacto na rede: – Baixo – Semelhante a um FTP 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 15 Testes Regulares – Bwctl (2) Malha de medição rede IPÊ – Largura de banda alcançável - BWCTL - TCP • Um ciclo de medição a cada 60 minutos • 40 medições por ciclo • Agendamento: CACTISonar Escalamento: CL-MP Armazenamento: MA-SQL Janela Servidor Calculado de acordo com BDP Janela Cliente Calculado de acordo com BDP Duração 10 Segundos Intervalo 1 / hora Fluxos de medição 40 Baseado na topologia da rede IPÊ = Medição entre vizinhos nos dois sentidos 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 16 Testes sob Demanda • As medições sob demanda são utilizadas para avaliar instantaneamente o estado da rede. • O objetivo deste tipo de medição é permitir aos usuários autorizados realizarem medições não contempladas pelas medições regulares. • Este tipo de medição tem como objetivo descobrir a capacidade de um enlace ou uma conexão fim-a-fim em escoar um determinado tipo de tráfego. • Avaliar com mais profundidade um problema de desempenho na rede. 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 17 Testes sob Demanda Certificação de enlaces em tempo real (UDP) • Ambiente – ICE, perfSONAR/CL-MP • Ferramenta: – BWCTL - UDP • Finalidade – Certificação de desempenho/capacidade de enlaces • Tipo de usuário – Usuários autorizados • Parâmetros de medição – Largura de banda: Configurável – Tamanho do pacote: 1500 Bytes – Largura de banda para medição: Configurável – Impacto na rede: Pode ser Alto 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 18 Testes sob Demanda Certificação de enlaces em tempo real (TCP) • Ambiente – ICE, perfSONAR CL-MP • Ferramenta – BWCTL - TCP • Finalidade: – Certificação de desempenho/capacidade de enlaces • Tipo de usuário – Usuários autorizados • Parâmetros de medição – Duração do teste: Configurável pelo usuário – Tamanho da janela TCP: Otimizada pelo BDP – Largura de banda para medição: Deve utilizar toda a banda disponível até o limite da capacidade das interfaces • Impacto na rede: – Depende do tempo, porém usa TCP e se adapta – Semelhante ao FTP 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 19 Testes sob Demanda Atraso e perdas em um sentido • Ambiente – ICE, perfSONAR CL-MP • Ferramenta – OWAMP • Finalidade – Verificação de qualidade do enlace em tempo real • Tipo de usuário – Usuários autorizados • Métricas – Atraso unidirecional e perdas • Parâmetros de medição - OWAMP – – – – – Pacotes de teste: 10 pacotes por teste ou Configurável Tamanho do pacote: 42 Bytes (14 + 20 + 8) ou Configurável Intervalo entre pacotes de teste: 10 pacotes por segundo ou Configurável Largura de banda para medição: ~3,36Kbps ou Configurável Impacto na rede: Desprezível por padrão (Pode ser alto) 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 20 Testes sob Demanda Desempenho da última milha • Ambiente de medição – Network Diagnostic Tool (NDT) - Servidores – Cliente WEB na estação do usuário final • Métricas – Largura de banda alcançável em TCP • Parâmetros de medição – Duração • 10 segundos – cliente para servidor • 10 segundos – servidor para cliente • Consumo de banda – Deve utilizar toda a banda disponível até o limite da capacidade da interface de menor capacidade • Impacto na rede: – Baixo – Semelhante a um FTP 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 21 Visualização de resultados 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 Gráficos CACTISonar (1) Tipos de gráficos • Ferramenta: ping – – – – Atraso Bidirecional Variação do Atraso Bidirecional Pacotes Percentis • Ferramenta: owamp * – – – – – – – – Atraso Unidirecional Variação do Atraso Unidirecional Pacotes (erros, fora de ordem, perdidos) Percentis Sincronização de Relógio Erro de Temporização Hops * Gráficos utilizados até MOS o momento pelo Monipê 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 Gráficos CACTISonar (2) Tipos de gráficos • Ferramenta: bwctl (tcp) * – – – – Vazão Quantidade de dados transmitidos Janela MTU, MSS • Ferramenta: bwctl (udp) – – – – – – – Vazão Perda Buffer Datagramas Jitter Banda Transmitida Acumulado * Gráficos utilizados até o momento pelo Monipê 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 Atraso Unidirecional • • • Este gráfico mostra o atraso unidirecional entre dois Pontos Medição em milisegundos (ms) Valores: Mínimo, Médio, Mediana, Máximo 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 Variação do atraso • • • • Basicamente é a diferença do tempo de chegada entre pacotes Não é sensível a precisão de relógio Medido em MS | (Gráfico geralmente mostra em m (ms), microsegundos) Valores no gráfico – Variação do atraso – Desvio padrão 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 Atraso - Percentis • Um percentil é o valor de uma variável abaixo do qual uma determinada porcentagem de observações se encontra. Então o 25o percentil é o valor (ou escore), abaixo dos quais 25 por cento das observações podem ser encontrados – Considerando a média do atraso - p25 – 25% Dos valores medidos para atraso e tem valor inferior a 2,20 MS - P50 – 50% Dos valores medidos para o atraso tem valor inferior a 2,22 MS 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 Pacotes • Apresenta percentual de – OWD Loss: Pacotes perdidos – OWD Dup: Pacotes duplicados – OWD Reord: Pacotes fora de ordem 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 MOS • Mean Opinion Score – Nível / Escala 5 excelente 4 bom 3 Médio 2 Ruim 1 péssimo 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 HOP • Número de roteadores no caminho fim-a-fim – Permite verificar mudanças de topologia – Caminhos assimétricos 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 Clock Sync • Mostra se o teste OWAMP foi realizado com o host sincronizado através do NTP 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 Time error • Apresenta o erro de relógio do host em relação ao NTP em segundos – O relógio dos dois hosts envolvidos na medição são apresentados – SC: ST1 (GPS) – PR: ST2 (Fonte Interna via NTP) 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 BWCTL - Bandwidth • Estimativa da largura de banda alcançável • Medida em bps / Mbps • O gráfico apresenta somente um sentido da medição 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 BWCTL - Transmitted • Estimativa da quantidade de dados transmitida • Medida em bytes / Mbytes • O gráfico apresenta somente um sentido da medição 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 BWCTL – Packet (Característica do pacote) • MTU - Unidade Máxima de Transmissão – MTU descreve o tamanho máximo de um pacote IP que pode ser transferido sobre um link sem fragmentação 1500 bytes (Ethernet, 802.11 WLAN) 9000 ou mais Bytes (Jumbo Frame, se ativo) MSS - Maximum Segment Size Genericamente: MTU – ( IP + TCP Headers) = 1500 - (20 + 20) = 1460 • 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 BWCTL - Window Tamanho da Janela TCP Medido em Bytes Relação com o BDP BDP = Largura de banda de contenção/gargalo x Atraso do caminho Ajuda a estimar tamanho ótimo da janela do TCP Ex: Link 2Mbps, atraso RTT = 300ms 2000000 x 0,30 = 600.000 / 8 = 75.000 bytes = Valor da janela TCP, ou 2/8 = 0,25 * 0,3 = 0,75M = 75 Kbytes 10Mbps, atraso 100ms 10.000.000 x 0,10 = 1.000.00 / 8 = 12.500 bytes = 125 KBytes 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 Efeito do tamanho da Janela TCP Medição na Rede Giga Efeito do tamanho da janela TCP na Vazão 64KB=42Mbps 75KB=100Mbps 420K=413Mbps RTT ~ 6ms BDP Larg. Banda=1G 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 37 Análise de resultados 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 Panorama geral da rede (out/2008) 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 Panorama geral da rede (mai/2009) 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 Panorama geral da rede 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 Panorama geral da rede (out/2008) 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 Panorama geral da rede (mai/2009) RJ – One Way Delay 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 SC → PA (out/2008) Banda X Atraso Unidirecional X Variação de Atraso Unidirecional 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 Vazão TCP: PA → RJ Banda X Vazão Porque baixa vazão se existe banda no sentido PA -> RJ ??? 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 Vazão RS → SC (09/10/2008) Enlace Fora do Ar Evento: enlace SC – RS Fora Hops Mps – Links PoPs SC 1Gbps RS 100Mbps * * Instalação Provisória 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 OWD VoIP MOS: PA (102M) – SC (2,5G) Qualidade de Voz através da análise do MOS SC - PA PA - SC RJ - PA 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 VoIP MOS: AM (20M) – SC (2,5G) Qualidade de Voz através da análise do MOS (2) SC - AM AM - SC AM - SP 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 VoIP MOS: AC (6M) – SC (2,5G) Qualidade de Voz através da análise do MOS (3) SC - AC AC - SC 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 VoIP MOS: AC (6M) – SC (2,5G) Qualidade de Voz através da análise do MOS (4) SC - AC AC - SC 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 VoIP MOS: AC (6M) – SC (2,5G) Qualidade de Voz através da análise do MOS (5) AC - SC SC - AC 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 VoIP MOS: AC (6M) – SC (2,5G) II Qualidade de Voz através da análise do MOS (6) AC - SC SC - AC 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 Analise de Medições (out/2008) • Categorias de Enlaces dos PoPs – Enlaces entre 1Gbps e 10Gbps • RS, SC, PR, SP, RJ, BA, PE, CE, MG, DF – Enlaces entre 100Mbps e 155Mbps • MT, PA, RN, ES – Enlaces de 6 a 20Mbps - Terrestre • AM, AC – Enlaces de 4 e 6Mbps - Satélite • RR, AP 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 Analise de Medições (out/2008) • Categorias de Enlaces dos PoPs – Enlaces entre 1Gbps e 10Gbps • RS, SC, PR, SP, RJ, BA, PE, CE, MG, DF • Enlaces não congestionados • Enlaces de alta capacidade de transmissão • OWD Estável (Atraso Unidirecional) • Baixa ou quase nenhuma perda de pacotes • MOS Muito bom • Vazão TCP Limitada pelo BDP • Bom sincronismo através da rede ( Jitter <0,02ms) • Atraso baixo e mantém correlação com a distância entre os PoPs • Variação do atraso dentro do esperado 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 Analise de Medições (out/2008) • Categorias de Enlaces dos PoPs – Enlaces entre 100Mbps e 155Mbps • Alguns Enlaces congestionados – PA pelo menos em um sentido –atualmente ok ?? – MT está OK • OWD Não Estável • Relativa perdas de pacotes • MOS razoável (RNP → PA) • Baixa Vazão • Sincronismo NTP ruim (links congestionados) 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 Analise de Medições (out/2008) • Categorias de Enlaces dos PoPs – Enlaces de 6 a 20Mbps - Terrestre • AM, AC • Enlaces congestionados – Enlaces de baixa capacidade • OWD Variável • Alta perdas de pacotes no sentido do PoP para o Núcleo da rede • Baixa vazão (~ 650kbps/150kbps horário Pico e não congestionado) • Sincronismo NTP via rede ruim • Médio Atraso • Variação do atraso médio e constante 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 Analise de Medições (out/2008) • Categorias de Enlaces dos PoPs – Enlaces de 4 e 6Mbps - Satélite • Enlaces congestionados • Elevada perdas de pacotes • MOS razoável ( RNP → AP) • Baixa Vazão • Sincronismo NTP ruim (links congestionados) • Elevado tempo de propagação OWD > 250ms causado pelo enlace via satélite 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 Conclusões • Matrizes são dimensionadas para: • Possibilitar uma visão geral da saúde da rede • Emular o comportamento de aplicações • Categorizações específicas dos enlaces • Eventos podem ser visualizados pelas medições 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 Obrigado Dúvidas/Sugestões Edison Melo [email protected] Equipe MonIPÊ [email protected] [email protected] http://wiki.monipe.rnp.br/ 2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009