Principais resultados e conclusões:
No ASA 5515-X e 5525-X, o tráfego EMIX foi 99%
melhor ou superior em relação aos concorrentes.
Relatório do
resumo do
teste de
laboratório
Produtividade de UDP - usando IMIX (IPv4 e IPv6) - foi
57% melhor em dispositivos ASA 5500-X Series do que
a concorrência
O tráfego de HTTP em dispositivos da Cisco foi 60%
maior do que em produtos semelhantes da concorrência
O ASA 5500-X Series pode processar 10% mais
conexões por segundo em IPv4 e 24% mais em IPv6 do
que produtos da concorrência
Julho de 2012
Relató rio SR120514
Categoria do produto:
Firewall
corporativo
Fornecedor testado:
A
Cisco contratou a Miercom para avaliar o desempenho da linha
recém-lançada de Dispositivos de segurança adaptativa ASA
5500-X Series em relação a produtos semelhantes selecionados
com base no mercado alvo e MSRP. Três cenários comparativos
diferentes foram testados. Os produtos da Check Point e da Fortinet foram
incluídos no teste e comparados a ofertas similares do ASA 5500-X
Series. O ASA 5515-X foi comparado ao Check Point 4210, o ASA 5525-X
ao FortiGate 310B e o ASA 5555-X ao Check Point 4807. Esses produtos
foram escolhidos porque se destinam ao mesmo uso, portanto é possível
fazer uma comparação justa.
Vários casos de uso foram utilizados para determinar a produtividade
máxima de TCP e UDP com base em situações reais, além de avaliar os
recursos de IPv6 de Próxima Geração e de Sistema de prevenção de
invasão (Intrusion Prevention System - IPS). Vários parâmetros foram
registrados, incluindo a utilização de CPU, utilização de memória alocada,
conexões por segundo (connections per second - CPS), conexões
Produtos testados:
Figura 1: Teste com mistura de tráfego realista, com firewall e
IPS
1.2 ativados
1,400
1
1,200
EMIX Mbps
ASA 5515-X
ASA 5525-X
ASA 5555-X
1,000
0.8
800
0.6
Cisco
Check Point
600
400
200
0
1,230 1,152
0.4
0.2
624
331
0
Cisco
Fortinet
Competitor
91
210
1 FG 310B ASA 5555-X vs. CP 4807
ASA 5515-X vs. CP 4210 ASA 5525-X vs.
Fonte: Miercom, julho de 2012
Dispositivos
Firewalls
O Sistema de prevenção contra violação (Intrusion Prevention System - IPS) exige
muito dos recursos. Muitas comparações e folhas de especificação ignoram o
desempenho com IPS ativado. A ativação de IPS, para todos os dispositivos, cria um
caso de teste que é realista de fato.
simultâneas, produtividade HTTP real e tráfego
EMIX TCP, para determinar os recursos reais de
cada dispositivo.
Os dispositivos do Cisco ASA 5500-X Series são
especializados, com processadores de vários
núcleos e vários encadeamentos, para serviços de
firewall, VPN e segurança IPS. Os dispositivos
também apresentam configurações generosas de
RAM, a partir de 4 GB no modelo 5512-X e 16 GB
no 5555-X. O dispositivo combina um firewall com
reconhecimento de identidades, recursos IPS e
VPN em um único dispositivo e inclui recursos
como modos de firewall de Camada 2 e 3,
mecanismos avançados de inspeção profunda de
pacotes, entre vários outros recursos de firewall,
com a possibilidade de atualização para mais
serviços no futuro.
Combinação de vários protocolos
reais EMIX
Para avaliar o desempenho de cada dispositivo,
usamos uma mistura de tamanhos de pacotes e
protocolos, com predominância de aplicativos
baseados em TCP. Consulte a Figura 2. Também
executamos um perfil de tráfego IMIX (veja a seção
seguinte), mas acreditamos que ele não reflete os
padrões de tráfego em uma empresa, pois usa
apenas o UDP como protocolo subjacente.
250 hosts virtuais com três servidores virtuais foram
colocados em cada lado do firewall e a produtividade
foi medida com tráfego bidirecional. Uma política
simples de permissão total foi configurada em todos os
Figura 2: perfil EMIX
Distribuição de protocolo de EMIX
Fonte: Miercom, julho de 2012
A composição do tráfego inicial EMIX, em todos os dispositivos
testados, é dada como a utilização real a partir da análise de
rede predeterminada.
firewalls. Além disso, ativamos o IPS no firewall para
simular uma implantação realista. O desempenho de
IPS depende muito do perfil de assinatura IPS
configurado. Por isso, escolhemos um perfil de
assinatura IPS comparável entre os vários fornecedores
que imita um cenário de implantação realista. O objetivo
final era medir a produtividade combinada de firewall e
IPS com uma margem de erro de 5% em transações
fracassadas.
Observamos uma produtividade de 1,4 Gbps para
essa combinação de tráfego no ASA 5515, 113%
maior que a produtividade no Check Point 4210. Da
mesma forma, o ASA 5525-X foi 99% maior o
Figura 3: Cisco ASA 5500-X Series - produtividade de tráfego IMIX UDP em IPv4
Fonte: Miercom, julho de 2012
Com exceção do FortiGate 310B, os dispositivos ASA estão muito à frente dos concorrentes, apresentando números maiores de
quadros por segundo, o que indica sua capacidade de roteamento, bem como a velocidade de processamento de pacotes.
Copyright © 2012 Miercom
Página do Cisco ASA 5500-X Series
2
Figura 4: Cisco ASA 5500-X Series - produtividade de tráfego IMIX UDP em IPv6
Fonte: Miercom, julho de 2012
Os dispositivos ASA estão muito à frente de seus respectivos concorrentes, apresentando números maiores de
quadros por segundo, o que indica sua capacidade de roteamento e sua velocidade de processamento de pacotes.
Produtividade de IMIX
tamanho fixo, mas acreditamos que essa é uma
representação irreal de uma implantação no mundo
real. Uma representação melhor da produtividade de
UDP é um perfil IMIX que usa pacotes de vários
tamanhos. Veja a Figura 7 na página 5.
Para determinar a taxa máxima de dados que
poderia ser sustentada sem perda de pacotes para
pacotes de diversos tamanhos fixos, com quadros
de até 1518 bytes, usamos com IMIX o teste de
avaliação de produtividade da RFC 2544. Alguns
fornecedores de firewall optam por publicar apenas
números de produtividade de pacotes UDP de
250 hosts virtuais foram usados em cada lado do
firewall para oferecer tráfego bidirecional. Também
medimos a produtividade de um perfil de tráfego IMIX
de quatro pontos, que usa distribuição aleatória de
tamanhos de pacotes, em vez da distribuição de
tamanhos fixos usada em um perfil IMIX padrão. Veja
a Figura 3 na página 2 e a Figura 8 na página 5.
FortiGate 310B, e o ASA 5555-X foi 6% maior que o
Check Point 4807. Os detalhes estão na Figura 1 na
página 1.
HTTP
Figura 5:Max
Cisco
ASA Throughput
5500-X Series Multi GET
Produtividade máxima de HTTP - diversas
1,400
solicitações GET
Throughput (Mbps)
1,200
1,000
ASA 5515-X
800
CP 4210
600
ASA 5525-X
400
FG 310B
ASA 5555-X
200
CP 4807
0
1KB
4KB
11KB
GET Payload Size (Kilobytes)
16KB
Fonte: Miercom, julho de 2012
O IPS exige muito dos recursos. Muitas comparações de desempenho e folhas de
especificação usam cargas úteis vazias e ignoram o desempenho de IPS. Ao ativar o
IPS para todos os dispositivos e usar cargas úteis variadas, criamos um caso de
teste realista de fato.
Copyright © 2012 Miercom
Configuramos a duração do teste
para 60 segundos, e os resultados
foram registrados sem taxa de
perda. Quando houve perda de
dados, o teste foi reiniciado com
métrica de entrada menor, usando
um algoritmo de busca binária para
fornecer a produtividade máxima
sem perda para cada firewall. Todos
os resultados mostrados são
apresentados com 0% de perda de
dados no nível de serviço máximo
obtido para cada dispositivo sendo
testado.
Além disso, testamos o tráfego UDP
em IPv6 usando roteamento IPv6-toIPv6 (6to6), como é mostrado na
Figura 4. O Cisco ASA 5500-X
apresentou desempenho semelhante
para IPv4 e IPv6. No entanto, o
Página do Cisco ASA 5500-X Series
3
Check Point e o Fortinet apresentaram uma
degradação significativa no desempenho em IPv6
quando comparado a IPv4. Especificamente, a
degradação de produtividade do dispositivo Check
Point 4200 foi de 41%, enquanto a do Fortinet foi de
48%. Os resultados do teste CPS de IPv4 e IPv6
CPS estão na Figura 3 e na Figura 4,
respectivamente.
Produtividade máxima de HTTP
Para entender como cada firewall processa o
tráfego de HTTP, criamos um cenário usando
tráfego da Web com pacotes de tamanhos variados.
Configuramos nosso equipamento para enviar uma
carga útil de HTTP 1.1 (com persistência) de 1, 4,
11 e 16 kilobytes. Uma única solicitação de HTTP
GET foi gerada e não houve atraso na geração da
resposta HTTP. Ao examinar uma distribuição
ampla de cargas úteis, podemos estimar com
precisão a maneira como os dispositivos atuam
com todos os tamanhos de pacote e distribuições
de carga. Além disso, ativamos o IPS em todos os
dispositivos, para imitar novamente um cenário de
implantação realista. Registramos a produtividade
máxima obtida por cada dispositivo sem que
ocorresse perda de pacotes.
O ASA 5515-X proporcionou uma produtividade
87% maior que o FortiGate 310B sem perda de
pacotes; o ASA 5525-X proporcionou 56% mais
tráfego que o Check Point 4210 e o ASA 5555-X 37%
mais rendimento que o Check Point 4807. Veja a
Figura 5 na página 3.
Com a utilização da CPU no máximo durante os
testes de produtividade, a GUI do dispositivo Fortinet
parou de responder, enquanto o gerenciamento dos
dispositivos Check Point e Cisco não foi afetado.
Também observamos que, em um teste mais amplo
de carga útil de HTTP, os dispositivos Fortinet
interromperam a inspeção IPS em cargas úteis além
de 200 KB, ao contrário dos dispositivos Cisco e
Check Point. Acreditamos que seja uma tentativa de
otimização do desempenho às custas da segurança.
Além disso, a configuração correspondente estava
disponível através da CLI, mas não da GUI.
Ao contrário dos dispositivos Cisco e Fortinet,
observamos uma limitação nos dispositivos Check
Point: em que apenas um único perfil de proteção IPS
pode ser usado em todo o dispositivo. Eles não
podem ser configurados em políticas individuais para
cada firewall. Além disso, o "perfil recomendado" de
IPS do Check Point não ativa assinaturas marcadas
com o nível de confiança "médio-baixo", nem
assinaturas classificadas como de "baixo risco".
Por fim, em dispositivos da Cisco, ativamos também a
proteção IPS baseada em reputação. Os dispositivos
Fortinet e Check Point não possuíam recurso
semelhante.
Figura 6: Cisco ASA 5500-X Series – conexões por segundo
IPv4
IPv6
Fonte: Miercom, julho de 2012
O teste da taxa de conexões por segundo de linha completa em todas as interfaces disponíveis, sem perda de pacotes, mostrou que
o ASA 5500-X Series é um dispositivo de última geração, cumprindo seus níveis de serviço melhor do que os concorrentes em IPv6.
Copyright © 2012 Miercom
Página do Cisco ASA 5500-X Series
4
Figura 7: perfil IMIX padrão
Resultados
Composição de IMIX por
contribuição de tráfego
Com base no teste de laboratório do Cisco ASA
5515-X, 5525-X e 5555-X Adaptive Security
Appliances, a Miercom certifica que a capacidade de
produtividade desses dispositivos de segurança é
superior a dos concorrentes: Check Point 4210,
FortiGate 310B e Check Point 4807.
Fonte: Miercom, julho de 2012
A composição do tráfego IMIX em todos os dispositivos
testados é dada pelo Spirent TestCenter como um perfil UDP
da Internet Mix.
Conexões por segundo
O objetivo deste teste é determinar o número
máximo de conexões por segundo (CPS) que o
firewall consegue lidar em TCP.
Cada conexão foi simulada usando uma única
solicitação de HTTP 1.0 GET com uma carga útil de
64 bytes na resposta HTTP, sem atraso no lado do
servidor. A conexão foi mantida em aberto por toda
a duração do teste mediante a ativação da opção
Keep-Alive de HTTP.
Para medir o CPS máximo obtido, aumentamos a
taxa de conexão de forma iterativa até não haver
perda de conexão. Executamos o teste com tráfego
HTTP IPv4 e IPv6. Veja a Figura 6 na página 4.
O desempenho combinado de firewall e IPS com
o tráfego realista foi 113%, 99% e 6% melhor no
5515-X, 5525-X e 5555-X, respectivamente, em
comparação aos dispositivos equivalentes de outros
fornecedores. Com o tráfego UDP (em IPv4 e IPv6),
o desempenho de firewall nos dispositivos ASA
5500-X foi 57% melhor do que nos dispositivos
semelhantes. Da perspectiva de conexões por
segundo, o ASA 5500-X também teve um
desempenho melhor em relação aos outros
fornecedores, lidando com 10% mais conexões por
segundo em IPv4 e 24% mais conexões por
segundo em tráfego IPv6.
Os dispositivos Cisco ASA 5515-X, 5525-X e 5555-X
oferecem segurança, escalabilidade e desempenho
impressionantes, conforme necessário para redes
corporativas, data centers e aplicativos Web 2.0. O
desempenho e os recursos de segurança garantiram
aos Cisco ASA 5515-X, 5525-X e 5555-X a
Certificação de Desempenho Verificado Miercom.
Figura 8: perfil IMIX de 4 pontos
Composição de IMIX por
contribuição de tráfego
Descobrimos que apenas o ASA 5500-X foi capaz
de cumprir os números publicados na folha de
registro. Uma explicação possível para isso é que
alguns fornecedores usam uma carga útil TCP de 1
byte para o teste de CPS, que resulta em números
maiores, embora tal carga seja infundada em um
cenário real.
Em IPv6, os dispositivos da Cisco tiveram uma
degradação de 10% em CPS, enquanto o Fortinet
teve degradação de 34%. O Check Point teve uma
degradação máxima de 20%. Também observamos
frequentes perdas de pacote com o máximo de
CPS no dispositivo da Check Point, o que não
aconteceu com a Cisco e a Fortinet.
Copyright © 2012 Miercom
Fonte: Miercom, julho de 2012
A média em longo prazo desta distribuição de tráfego IMIX
aproxima-se de um perfil IMIX padrão, mas as distribuições
aleatórias permitem um caso de uso mais real.
Página do Cisco ASA 5500-X Series
5
Diagrama do campo de teste
BreakingPoint
Storm
BreakingPoint
Storm
Estação de
gerenciamento
Servidor de log
Dispositivo testado
(DUT)
Spirent
Spirent
Fonte: Miercom, julho de 2012
Como fizemos
Para obter o máximo desempenho dos produtos, a plataforma de teste utilizou produtos BreakingPoint Storm e
Spirent TestCenter. O tráfego do teste bidirecional foi gerado usando o BreakingPoint, versão 2.2.3, strikebuild
78528, e Spirent Test Center v3.90. Os testes de HTTP reais foram realizados com HTTP 1.1 durante a
transferência de objetos de tamanhos variados. Os testes de desempenho de CPS foram realizados usando
BreakingPoint Storm para gerar o tráfego HTTP de 64 bytes. A maioria das comparações de desempenho
funciona sem carga útil, mas, para obter resultados reais, adicionamos uma carga útil de 64 bytes dentro da
transação HTTP Syn-Fin. Para os testes de desempenho em UDP, usamos o Spirent TestCenter para enviar
quadros de tamanho aleatório, de 64 a 1.518 bytes.
O Cisco ASA 5515-X estava equipado com seis interfaces 1GE; o 5525-X com oito interfaces 1GE e o 5555-X com
oito interfaces 1GE. Foram usados durante o teste o software Cisco Adaptive Security Appliance (ASA) v8.6.1.1
com IPS versão 7.1.4, com atualização de assinatura S615. O tamanho de MTU padrão do tráfego em TCP foi de
1.380 bytes, para permitir a sobrecarga. O tamanho de MTU padrão do tráfego em UDP foi de 9.216 bytes.
O Check Point 4210 estava equipado com quatro interfaces 1GE; o Fortinet FortiGate 310B com dez interfaces
1GE e o Check Point 4807 com oito interfaces 1GE. Os firewalls da Check Point estavam executando a versão do
software R75.40 e o dispositivo FortiNet estava usando a versão 4.0MR3 com patch 6. Embora todos os
dispositivos tenham portas extras, estas são principalmente para funcionalidade e não para capacidade.
Obtivemos a carga máxima usando apenas duas interfaces 1GE em cada dispositivo.
Todos os dispositivos tinham o hardware configurado com as opções padrão. Não foram conectados
processadores, placas externas ou outros dispositivos complementares. Todos os dispositivos estavam em VLANs
separadas para evitar interações indesejadas entre eles, e todos os testes foram executados individualmente com
grandes períodos de tempo entre eles, para garantir que pacotes residuais não afetassem o teste.
O BreakingPoint Storm e o Spirent TestCenter executaram um algoritmo de busca binária para encontrar a capacidade
máxima possível de cada dispositivo durante cada teste. Repetimos cada teste mais duas vezes usando o valor final
para obter resultados confiáveis e que possam ser reproduzidos. Durante o teste, monitoramos com atenção a
utilização de memória e CPU, principalmente para verificar se os switches estavam funcionando normalmente.
Os testes neste relatório devem poder ser reproduzidos por clientes que desejam recriá-los com o equipamento
apropriado de teste e medição. Clientes atuais ou em potencial interessados em repetir esses resultados podem
entrar em contato com [email protected] para solicitar as configurações aplicadas ao dispositivo testado e
as ferramentas de teste usadas nesta avaliação. A Miercom recomenda que os clientes realizem sua própria
análise de necessidades e que realizem testes específicos para o ambiente em que se deseja implantar o
produto, antes de optar por um produto.
Copyright © 2012 Miercom
Página do Cisco ASA 5500-X Series
6
Miercom Performance Verified
O desempenho do Cisco ASA 5500-X Series Advanced Security
Appliance foi verificado pela Miercom. Em teste prático, a Cisco
demonstrou recursos de desempenho avançados, como:
O CPS médio é 10% maior em IPv4 e 24% maior em IPv6 em
relação aos concorrentes
Os dispositivos da Cisco ultrapassaram as expectativas com
IPS ativado, ao contrário dos concorrentes
O desempenho do sistema não é afetado pela ativação de IPS
A plataforma ASA foi, em média, 79% melhor na produtividade
máxima de HTTP
O desempenho e os recursos de segurança garantiram ao Cisco ASA
5515-X, 5525-X e 5555-X Advanced Security Appliances a Certificação
Miercom Performance Verified.
Cisco Systems, Inc.
170 West Tasman Drive
San Jose, CA
1-800-553-6387
www.cisco.com
Cisco ASA 5500-X Series
Sobre os serviços de teste de produtos da Miercom
A Miercom publicou centenas de análises de comparação de
produtos ao longo dos anos em importantes periódicos da
área de redes, incluindo Network World, Business
Communications
Review,
Tech
Web
NoJitter,
Communications News, xchange, Internet Telephony e outras
importantes publicações. A reputação da Miercom como
importante centro independente de teste de produtos é
inquestionável.
Os serviços de testes privados da Miercom incluem a análise
de produtos concorrentes e as avaliações de produtos
individuais. A Miercom possui programas abrangentes de
certificação e teste, incluindo: Certified Interoperable,
Certified Reliable, Certified Secure e Certified Green. O
programa Performance Verified é uma avaliação extensa e
confiável da usabilidade e desempenho do produto.
Relatório SR120514
[email protected]
www.miercom.com

Antes de imprimir,
considere a distribuição eletrônica

Os nomes de produto ou os serviços mencionados neste relatório são marcas registradas de seus respectivos proprietários. A Miercom esforça-se
para garantir que as informações contidas em nossos relatórios sejam precisas e completas, mas não podemos ser responsabilizados por erros,
imprecisões ou omissões. A Miercom não pode ser responsabilizada por danos advindos das informações contidas neste relatório ou relacionadas a
elas. Consulte serviços profissionais como a Miercom para análise específica das necessidades do cliente.
Copyright © 2012 Miercom
Página do Cisco ASA 5500-X Series
7