PTT.br Sistema de Quarentena PTT Fórum 7 2013 Ailton Soares da Rocha <[email protected]> Julimar Lunguinho Mendes <[email protected]> Equipe de Engenharia PTT.br <[email protected]> PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 1 Objetivo A apresentação visa expor o sistema de quarentena utilizado para ativação e testes de suporte no PTT.br PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 2 Definições PIX – Ponto de Interconexão Pontos de conexão espalhados por região onde o PTT.br existe Participante AS conectado a uma das diferentes localidades do PTT.br Transporte Enlace físico do router do participante até o PIX PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 3 Referência IXP - Internet eXchange Point PTT – Ponto de Troca de Tráfego PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 4 O que é Quarentena? Significado de Quarentena segundo o dicionário online de português “s.f. Número exato ou aproximado de quarenta: uma quarentena de amigos. Marinha Isolamento imposto a um navio que transporta pessoas, animais ou mercadorias provenientes de país em que grassa moléstia contagiosa. Isolamento de certas pessoas, lugares e animais que podem acarretar perigo de infecção. O período de quarentena depende do tempo necessário como proteção contra a propagação de uma doença determinada. O nome quarentena provém do fato de outrora, quando as autoridades de um porto suspeitavam que houvesse portadores de infecção entre os passageiros ou tripulantes de um navio, esse ter de ficar 40 dias ao largo do porto, sem atracar.” PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 5 O que é a Quarentena no PTT.br? → Quarentena é um período de tempo no qual o participante estará em uma área isolada do PTT.br → Análise e validação → Conexão física → Enlace → Se participar do Acordo de Troca de Tráfego Multilateral → IP → BGP → Política de roteamento externo → Desempenho PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 6 O que é a Quarentena no PTT.br? → Quarentena é um período de tempo no qual o participante estará em uma área isolada do PTT.br → Análise e validação → Conexão física → Enlace → Se participar do Acordo de Troca de Tráfego Multilateral → IP → BGP → Política de roteamento externo → Desempenho Duração: horas, dias ou meses. Depende normalmente do participante e do PIX/Transporte PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 7 Histórico de Quarentena – PTT.br Para garantir que a ativação de novos participantes não interfira na estabilidade das conexões dos participantes já ativos, se fez necessário criar áreas isoladas onde são feitos vários testes dos novos participantes antes que eles entrem na área de produção Baseado no modelo adotado no AMS-IX Amsterdam Internet Exchange, em 2009 o PTT.br iniciou a utilização de Quarentenas para validação de conexão de novos participantes Em um primeiro momento somente era possível o teste de um AS por vez Em 2011 as máquinas foram ampliadas para 10 áreas de testes devido ao aumento de ativações e suporte Em 2012 novas funcionalidades foram implementadas (testes de quantidade de MACs) e a ampliação permitiu o teste de até 50 participantes simultâneos PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 8 Topologia Quarentena – PTT.br PIX-Central PIX-A ASN 65001 Router Servers de Quarentena RS1 RS2 LG Vlan quarentena Switch PTT.br Switch PTT.br Interligação óptica Router ASN 65001 Transporte Operadora Vlan produção RS1 RS2 LG Validação da configuração do ASN PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 9 Topologia Quarentena – PTT.br PIX-Central PIX-A ASN 65001 Router Servers de Quarentena RS1 RS2 LG Vlan quarentena Switch PTT.br Switch PTT.br Interligação óptica Router ASN 65001 Transporte Operadora Vlan produção RS1 RS2 LG Validação do Transporte/Operadora PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 10 Topologia Quarentena – PTT.br PIX-Central PIX-A ASN 65001 Router Servers de Quarentena RS1 RS2 LG Vlan quarentena Switch PTT.br Switch PTT.br Interligação óptica Router ASN 65001 Transporte Operadora Vlan produção RS1 RS2 LG Validação da conexão física no PIX PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 11 Topologia Quarentena – PTT.br PIX-Central PIX-A ASN 65001 Router Servers de Quarentena RS1 RS2 LG Vlan quarentena Switch PTT.br Switch PTT.br Interligação óptica Router ASN 65001 Transporte Operadora Vlan produção RS1 RS2 LG Interligação do PIXA ao PIXCentral PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 12 Topologia Quarentena – PTT.br PIX-Central PIX-A ASN 65001 Router Servers de Quarentena RS1 RS2 LG Vlan quarentena Switch PTT.br Switch PTT.br Interligação óptica Router ASN 65001 Transporte Operadora Vlan produção RS1 RS2 LG Configuração das sessões em uma vlan diferente da vlan de produção PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 13 Topologia Quarentena – PTT.br PIX-Central PIX-A ASN 65001 Router Servers de Quarentena RS1 RS2 LG Vlan quarentena Switch PTT.br Switch PTT.br Interligação óptica Router ASN 65001 Transporte Operadora Vlan produção RS1 RS2 LG Após os testes de quarentena, as sessões são configuradas nos Routers Servers de produção PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 14 A importancia dos testes em Quarentena A ideia principal é evitar que configurações e tráfego inadequados possam afetar os participantes ativos e possibilita também o diagnóstico de problemas de participantes já em operação, mantendo segura a estrutura atual. PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 15 A importancia dos testes em Quarentena Os testes de quarentena são importantes para validação de conexão física, enlace, protocolos IPv4 e IPv6, acertos de capacidade, testes de conectividade, verificação de tráfego inadequado e recomendações referente a política de boas práticas BGP para IXP. Grande parte dos testes e verificações são realizados através de scripts o que agiliza o processo. PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 16 Passos para testes de Quarentena http://standards.ieee.org/develop/regauth/oui/public.html Consulta do MAC no site do IEEE O MAC informado necessita ter uma OUI válida PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 17 Passos para testes de Quarentena PIX-Central PIX-A Switch PTT.br ASN 65001 Router ASN 65001 Switch PTT.br Interligação óptica Transporte Operadora MAC A Como forma de proteção o MAC é filtrado na porta do switch no PIX. É permitido apenas o MAC informado pelo participante no exemplo o MAC A PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 18 Passos para testes de Quarentena PIX-Central PIX-A ASN 65001 Switch PTT.br Switch PTT.br Interligação óptica Router ASN 65001 Transporte Operadora MAC A Consulta do MAC no switch central Caso seja uma ativação ele não deve existir no switch central PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 19 Passos para testes de Quarentena Testes iniciado em Mon Aug 19 10:55:24 BRT 2013 ASN: 65001 Teste de conectividade e MTU Nome: Teste_Quarentena O enlace deve permitir MTU de 1472 IPv4: 192.168.123.123 IPv6: 2001:14f9::123:123 sem fragmentação -----------------------------------------------------------------------------------------ping 192.168.123.123 -c 5 -M do -s 1472------------------PING 192.168.123.123 (192.168.123.123) 1472(1500) bytes of data. 1480 bytes from 192.168.123.123: icmp_req=1 ttl=64 time=0.739 ms 1480 bytes from 192.168.123.123: icmp_req=2 ttl=64 time=0.778 ms 1480 bytes from 192.168.123.123: icmp_req=3 ttl=64 time=0.836 ms 1480 bytes from 192.168.123.123: icmp_req=4 ttl=64 time=0.682 ms 1480 bytes from 192.168.123.123: icmp_req=5 ttl=64 time=0.778 ms --- 192.168.123.123 ping statistics --5 packets transmitted, 5 received, 0% packet loss, time 3997ms rtt min/avg/max/mdev = 0.682/0.762/0.836/0.059 ms *** teste ok - circuito de transito suporta pacotes maiores que 1472 bytes PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 20 Problemas com MTU ● Problemas com a sessão TCP ● Problemas com tags de vlan ● Problemas de intermitência na sessão ● Problemas de convergência ● Problemas com atualizações BGP PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 21 Passos para testes de Quarentena Teste de verificação de Proxy ARP habilitado O Proxy ARP deve estar desabilitado na interface conectada ao PTT --------------------arping -c 5 -I eth0 189.16.219.254---------------ARPING 189.16.219.254 --- 189.16.219.254 statistics --5 packets transmitted, 0 packets received, 100% unanswered (0 extra) *** teste ok - participante nao respondendo arping --------------------arping -c 5 -I eth0 172.16.1.1-------------------ARPING 172.16.1.1 --- 172.16.1.1 statistics --5 packets transmitted, 0 packets received, 100% unanswered (0 extra) *** teste ok - participante nao respondendo arping PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 22 Passos para testes de Quarentena Participantes PIX-Central Participantes MAC B Vlan produção MAC A Vlan produção Switch PTT.br MAC C Vlan produção Proxy ARP Habilitado Vlan produção MAC D Imagine uma situação onde um o Router A com MAC A pergunte através de um ARP Request quem é o Router B PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 23 Passos para testes de Quarentena Participantes PIX-Central Participantes MAC B Vlan produção MAC A Vlan produção Switch PTT.br MAC C Vlan produção Proxy ARP Habilitado Vlan produção MAC D O Router B responderá com seu MAC B PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 24 Passos para testes de Quarentena Participantes PIX-Central Participantes MAC B Vlan produção MAC A Vlan produção Switch PTT.br MAC C Vlan produção Proxy ARP Habilitado Vlan produção MAC D Além do Router B, o Router C por estar com o Proxy ARP habilitado também responderá. Esta é uma situação ruim para um ambiente de troca de tráfego IP. PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 25 Passos para testes de Quarentena Verificação do tráfego broadcast Deve estar limitado somente a resolução ARP Executando o tcpdump por 5 minutos na vlan quarentena.... 10:55:59.971470 f8:c0:01:1d:b8:a8 > ff:ff:ff:ff:ff:ff, ethertype ARP (0x0806), length 60: Request who-has 192.168.123.20 tell 192.168.123.123, length 46 10:56:11.166091 f8:c0:01:1d:b8:a8 > ff:ff:ff:ff:ff:ff, ethertype ARP (0x0806), length 60: Request who-has 192.168.123.20 tell 192.168.123.123, length 46 10:56:24.671168 f8:c0:01:1d:b8:a8 > 5c:e0:f6:00:10:93, ethertype IPv4 (0x0800), length 85: 192.168.123.123.179 > 187.16.216.253.43387: Flags [P.], seq 2859886168:2859886187, ack 4127368643, win 16384, options [nop,nop,TS val 1113193787 ecr 22669039], length 19: BGP, length: 19 Protocolos de descoberta de vizinhaça como CDP e MNDP devem ser desabilitados PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 26 Passos para testes de Quarentena Participantes PIX-Central Participantes MAC B Vlan produção MAC A Vlan produção Switch PTT.br MAC C Vlan produção Vlan produção MAC D Frames permitidos com Ethertypes: 0x0800 IPv4 0x0806 ARP 0x86dd IPv6 PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 27 Passos para testes de Quarentena --------------------sh ip bgp summ-----------------------------------BGP router identifier 192.168.123.253, local AS number 65002 RIB entries 61, using 5856 bytes of memory Peers 4, using 18 KiB of memory Neighbor V AS MsgRcvd MsgSent TblVer InQ OutQ Up/Down State/PfxRcd 192.168.123.123 4 65001 48 26 0 0 0 00:10:36 2 Total number of neighbors 1 --------------------sh ip bgp ipv4 unicas----------------------------BGP table version is 0, local router ID is 192.168.123.253 Status codes: s suppressed, d damped, h history, * valid, > best, i - internal, r RIB-failure, S Stale, R Removed Origin codes: i - IGP, e - EGP, ? - incomplete Network Next Hop Metric LocPrf Weight Path *> 192.168.125.0/20 192.168.123.123 0 65001 65001 65001 65004 i *> 192.168.125.0/21 192.168.123.123 0 65001 65001 65001 65004 i Total number of prefixes 2 Verificação das sessões e anúncios de prefixos PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 28 Passos para testes de Quarentena PIX-Central PIX-A ASN 65001 Servidor de testes de MAC Vlan quarentena Switch PTT.br Switch PTT.br Interligação óptica Router ASN 65001 Transporte Operadora No teste de limitação de MACs, são criadas centenas de conexões simultâneas com MACs diferentes para o router em teste. PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 29 Passos para testes de Quarentena Verificação da quantidade MACs permitidos Teste 100: 1003 macs permitidos Teste 101: 1008 macs permitidos Teste 102: 1005 macs permitidos Teste 103: 1006 macs permitidos Teste 104: 1004 macs permitidos Teste 105: 1005 macs permitidos Teste 106: 1005 macs permitidos Teste 107: 1000 macs permitidos Teste 108: 1007 macs permitidos Teste 109: 1004 macs permitidos Teste 110: 1004 macs permitidos Obs.: para o PTT-SP o transporte deve permitir 1024 MACs por se tratar de um /22 PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 30 Problemas com limitação de MAC Participantes PIX-Central Participantes Tabela MAC MAC B MAC C MAC D MAC B Vlan produção Switch PTT.br MAC A Transporte Operadora MAC C Vlan produção Vlan produção MAC D PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 31 Problemas com limitação de MAC Participantes PIX-Central Participantes Tabela MAC MAC B MAC C MAC D MAC B Vlan produção Switch PTT.br MAC A Transporte Operadora Limitado a 2 MACs MAC C Vlan produção Vlan produção MAC D Suponhamos que o transporte permita apenas dois MACs PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 32 Problemas com limitação de MAC Participantes PIX-Central Participantes Tabela MAC MAC B MAC C MAC D Vlan produção Switch PTT.br MAC A Transporte Operadora Limitado a 2 MACs Sem resposta MAC C Vlan produção Vlan produção MAC D Neste caso não existirá comunicação com um dos routers PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 33 Problemas com limitação de MAC Participantes PIX-Central Participantes Tabela MAC MAC B MAC B MAC D Vlan produção Switch PTT.br MAC A Transporte Operadora Limitado a 2 MACs MAC C Vlan produção Sem resposta Vlan produção MAC D Ocorrerá uma intermitência na Comunicação entre os routers PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 34 Problemas com limitação de MAC Participantes PIX-Central Participantes Tabela MAC MAC B MAC C MAC B Vlan produção Switch PTT.br MAC A Transporte Operadora Limitado a 2 MACs MAC C Vlan produção Vlan produção MAC D Sem resposta Ora perde comunicação com um router, ora perde comunicação com outro router PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 35 Finalização de Quarentena Migrar as sessões para produção Execução da configuração nos Router Servers de produção pela equipe do PTT.br Neste momento os testes de quarentena são finalizados e o AS passa a troca tráfego com os outros participantes PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 36 Tempo mínimo de Quarentena Observação: caso esteja tudo certo nos testes de quarentena o participante será migrado para produção depois de um prazo mínimo de 4 horas após os testes de MAC PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 37 Problemas encontrados durante a quarentena - MAC inválido - Tráfego inadequado - Erros de negociação de interface - Taxas de erros - Problemas de conectividade - Problemas de transporte com MTU menor que 1472 - Anúncios de prefixos não válidos - Alterações de Next Hop - AS Path não consistente - Vazamento de Full Routing - Proxy ARP habilitado - Identificação da necessidade de filtros - Problemas com o limite MAC Adrress no transporte - Transparência a tags de Vlans - Vazamento de tráfego IGP nas sessões BGP PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 38 Fluxograma Quarentena Conexão Física PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 39 Fluxograma Quarentena Conexão Física Teste Enlace PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 40 Fluxograma Quarentena Conexão Física Teste Enlace É ATM Não Fim da quarentena PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 41 Fluxograma Quarentena Conexão Física Teste Enlace É ATM Não Fim da quarentena Migração para produção PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 42 Fluxograma Quarentena Conexão Física Teste Enlace É ATM Sim Teste IP Não Fim da quarentena Migração para produção PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 43 Fluxograma Quarentena Conexão Física Teste Enlace É ATM Sim Teste IP Não Teste BGP Fim da quarentena Migração para produção PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 44 Fluxograma Quarentena Conexão Física Teste Enlace É ATM Sim Teste IP Não Teste BGP Política de roteamento Fim da quarentena Migração para produção PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 45 Fluxograma Quarentena Conexão Física Teste Enlace É ATM Sim Teste IP Não Teste BGP Política de roteamento Fim da quarentena Desempenho Migração para produção PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 46 Justificativas dos testes de quarentena O projeto está presente em 25 localidades até o momento Possuímos 614 ASNs únicos conectados Média de 150Gbps de troca de tráfego diária na soma de todas as localidades Picos de 252Gbps de troca de tráfego na soma de todas as localidades O PTT-SP é a maior localidade com 448 ASNs conectados com média de tráfego de 127Gbps e Picos de 215Gbps Dos 2225 ASNs brasileiros aproximadamente 29% estão conectados a uma localidade do PTT.br Os PTTs pelo mundo utilizam quarentenas para validar novos participantes: AMS-IX, LINX, France-IX, MSK-IX entre outros PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 47 Justificativas dos testes de quarentena Existe uma diversidade muito grande de equipamentos no PTT.br. CISCO SYSTEMS, INC. Juniper Networks Routerboard.com Outros Intel Corporate Dell Inc BROADCOM CORPORATION Brocade Communications Systems, Inc Hewlett-Packard Company Extreme Networks Esse gráfico representa os diferentes tipos de equipamentos que estão conectados ao PTT-SP na Troca de Tráfego Multilateral PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 48 Justificativas dos testes de quarentena Dados extraídos do PTT-SP Participantes da Troca de Tráfego Multilateral Vendor Quantidade Porcentagem CISCO SYSTEMS, INC. 88 19,64% Juniper Networks 88 19,64% Routerboard.com 88 19,64% Outros 56 12,50% Intel Corporate 47 10,49% Dell Inc 36 8,04% BROADCOM CORPORATION 14 3,13% Brocade Communications Systems, Inc 13 2,90% Hewlett-Packard Company 11 2,46% Extreme Networks 7 1,56% Total 448 PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 49 Hoje x futuro Hoje estamos com 26 ASNs em quarentena Temos uma capacidade de 50 testes simultâneos Teste de limite de Broadcast será implementado em breve Devido ao crescimento de demanda por testes, temos planos de aumentar para 100 quarentenas PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 50 Contato http://ptt.br/ Equipe de Engenharia PTT.br <[email protected]> PTTMetro Interconexão de AS – Julimar Lunguinho Mendes <[email protected]> NIC.br – http://ptt.br/ 51
Download
