X EDAO – ENCONTRO PARA DEBATES DE ASSUNTOS DE OPERAÇÃO
SOLUÇÕES TECNOLÓGICAS PARA A INTEGRAÇÃO DOS AGENTES AOS CENTROS DE
OPERAÇÃO DO ONS
Jamil de Almeida Silva
ONS
Brasília-DF
RESUMO
O
artigo
apresenta
os
requisitos
de
telecomunicações estabelecidos nos Procedimentos
de Rede e as sugestões tecnológicas para a
interligação de remotas com Centros de Operação,
considerando os fatores, custo, segurança e alta
disponibilidade.
PALAVRAS-CHAVE
Disponibilidade, Protocolos, Qualidade, Segurança
Telecomunicações.
1.0 INTRODUÇÃO
O módulo 13 dos Procedimentos de Rede
estabelece os requisitos de qualidade e
disponibilidade dos canais de telecomunicações
usados pelos Agentes que se interligam com os
Centros de Operação do Operador Nacional do
Sistema Elétrico – ONS. A disponibilidade
estabelecida para os dados de supervisão e/ou
Controle Automático de Geração - CAG é de
99,98%. Para atender estes requisitos, são usados
circuitos de telecomunicações redundantes. Um
desafio reside em automatizar os processos de:
a) Detecção de falha em um dos canais de
comunicação;
b) Chaveamento do fluxo de dados para o segundo
canal de comunicação.
c) Assegurar confidencialidade de dados para
Agentes diferentes, que compartilham o mesmo
barramento de acesso no Centro Regional ao qual
se conectam
Além disso, com a modernização das remotas, está
cada vez mais freqüente o uso de protocolos de
comunicação baseados na pilha de Protocolos de
Controle de Transmissão e Protocolo de
Interconexão - TCP/IP. No entanto, ainda é muito
comum a utilização de remotas que enviam dados
para determinados Centros de Operação do ONS,
através de protocolos seriais. Na maioria das vezes,
este Agente também deve prover comunicação de
voz com o ONS, resultando na necessidade de uma
contratação de quatro enlaces de comunicação,
sendo dois para dados e dois para voz, em uma
configuração redundante e de custo significativo,
para assegurar conformidade com os requisitos de
X EDAO SP-A-03
Jean Carlos Borges Brito
ONS
Brasília-DF
disponibilidade estabelecidos no módulo 13 dos
Procedimentos de Rede.
Este artigo descreve a implantação de tecnologias
baseadas em lista de controle de acesso e em
protocolos
de
roteamento
redundantes,
denominados VRRP e HSRP, para automatizar o
processo de redundância dos canais de
comunicação e criar um degrau de segurança
cibernética nesse ambiente. Também é analisada
uma solução de baixo custo, baseada no uso de
roteadores associados a conversores serial/IP, de
modo que o Agente poderá compartilhar o mesmo
canal de comunicação para os dados enviados para
o Sistema de Supervisão e os circuitos de voz
disponibilizados na sala de controle do Centro de
Operação. Desta forma, com apenas dois canais de
comunicação, com comutação de pacotes, o Agente
garantirá redundância e alta disponibilidade de
dados e voz e poderá reduzir, pela metade, suas
despesas com o custeio dos canais de
comunicação
O artigo se fundamenta em modelo já adotado pelo
Centro Regional de Operação Norte/Centro-Oeste COSR-NCO, do ONS, e implantado pelos Agentes
conectados a esse Centro, estabelecendo
mecanismos de segurança e redundância
automatizada, o que tornou a infra-estrutura de rede
e telecomunicações tolerante a falhas, minimizou as
indisponibilidades dos canais de comunicação e,
por conseguinte, trouxe maior disponibilidade e
segurança para os dados de supervisão e CAG
entregues ao COSR-NCO.
Os assuntos tratados seguem a seguinte seqüência:
- Requisitos dos canais de telecomunicações
estabelecidos para comunicação de tempo real
entre um Centro Regional de Operação do ONS e
seus respectivos Agentes.
- Conexões típicas: Comunicação de Dados
Seriais; Comunicação de Dados TCP/IP e
Comunicação de voz.
- Requisitos de segurança.
- Requisitos de monitoração
- Automatização do chaveamento dos canais de
comunicação usando os protocolos VRRP ou
HSRP.
- Implantação
de
segurança
através
da
configuração de listas de controle de acesso.
1/5
- Solução de baixo custo usando conversores
serial-ip.
- Estudo de caso de implantações típicas, uma
serial e outra TCPIP, do COSR-NCO.
2.0 REQUISITOS DE TELECOMUNICAÇÕES
2.1 Requisitos de disponibilidade
Para atender à operação de tempo real do Sistema
Interligado Nacional - SIN, o serviço de
telecomunicações entre o Agente e respectivo
Centro de Operação do ONS, deve dispor de
serviços de comunicação de voz e/ou de dados.
Esse serviço é custeado pelo Agente e deve
apresentar disponibilidade total de, pelo menos,
99,98%, apurada mensalmente, cujo valor de
referência é o somatório dos últimos 12 (doze)
meses. Isso implica em uma indisponibilidade
máxima total, num período de 12 (doze) meses, de
1 (uma) hora e 45 (quarenta e cinco) minutos. Em
decorrência da alta disponibilidade exigida, o
serviço, normalmente, é um serviço prestado com
recursos de telecomunicações disponibilizados
através de duas rotas distintas e independentes.
2.2 Requisitos de qualidade
Todos os serviços de interesse do ONS realizados
sobre sistemas de transmissão analógicos ou
mistos – estes com parte analógica e parte digital –
devem obedecer aos valores dos parâmetros a
seguir:
- Níveis relativos nos pontos de entrada e saída
analógicos, a 4 fios, em ambos os lados das
conexões de voz: lado de transmissão: -5,5 ± 0,5
dBr; e lado de recepção: -2,0 ± 0,5 dBr.
- Nível máximo aceitável de ruído na recepção: 40
dbmO.
- Relação sinal/ruído mínima: 40 dB.
- Taxa de erro máximo: 50 bits/milhão, sem código
de correção de erro (circuitos de dados).
2.3 Conexões típicas
- Comunicação de Dados Seriais
- Comunicação de Dados TCP/IP
- Comunicação de voz
roteadores atuarem como um roteador virtual. De
acordo com essa especificação, os roteadores se
apresentam para cliente com um endereço IP virtual
(VIP - Virtual IP) correspondente a um MAC virtual
(VMAC), mas cada qual possui seu próprio IP e
MAC reais. Se o roteador primário (master), que
inicialmente possuía os dados virtuais, falhar então
um roteador secundário (backup) assume a tarefa
de roteamento.
As trocas de mensagem, para verificação de estado
entre os servidores, acontecem através de IP
multicast. Uma falha, no recebimento dessas
mensagens em um determinado intervalo de tempo,
leva a um processo de eleição de um novo master.
Em situação normal, apenas o master envia
mensagens (IP multicast), apenas quando há
escolha para novo master é que os servidores de
backup enviam mensagens.
Em um ambiente configurado com o protocolo
VRRP serão encontradas as seguintes entidades:
- Virtual Router Roteador virtual, abstração
formada por um ou mais roteadores rodando
VRRP.
- VRRP Instance, Implementação em programa do
protocolo VRRP rodando em um roteador.
- Virtual Router ID (VRID), Identificação numérica
para um Virtual Router em particular que deve ser
único para cada segmento de rede.
- Virtual Router IP, Endereço IP associado ao um
VRID que é usado por clientes para obter
serviços dele. É gerenciado pela instância do
VRRP que possui o VRID.
- Virtual MAC address, Em casos em que endereço
MAC é usado (Ethernet), este endereço MAC
virtual é associado ao Endereço IP virtual.
- Priority Valor, (que varia de 1 a 254) associado a
cada roteador rodando VRRP como maneira de
determinar o master (quanto maior o número,
maior prioridade).
3.0 REQUISITOS DE MONITORAÇÃO
O ONS faz a monitoração dos canais de
comunicação de modo a apurar a disponibilidade
definida no submódulo 13.5. A apuração é realizada
através de ferramenta automatizada, que registra
eventuais quedas dos links de comunicação.
4.0 AUTOMATIZAÇÃO DO CHAVEAMENTO DOS
CANAIS DE COMUNICAÇÃO USANDO OS
PROTOCOLOS VRRP OU HSRP
4.1 Virtual Router Redundancy Protocol - VRRP
O VRRP é designado para eliminar pontos de falhas
criados por default-gateway de rede LAN (Local
Area Network).
6.2
VRRP é um protocolo especificado pelo IEFT The Internet Engineering Task Force, na RFC 3768
- Request for Comments, que permite dois ou mais
X EDAO SE-B-07
FIGURA 1 – Funcionamento de um sistema VRRP
Na Figura 1, o servidor envia pacotes multicast para
outras instâncias do VRRP que rodam na rede (no
caso, apenas o roteador B). Estes pacotes
carregam informação para duas finalidades
principais:
2/5
- Forçar a eleição de outro master caso haja algum
com maior prioridade;
- Notificar instâncias VRRP de backup que há um
master ativo, caso não exista comunicação em
intervalo definido, haverá uma nova escolha de
master.
4.2 Alta disponibilidade com roteadores CISCO
Na maioria das redes, apenas um equipamento é
apontado como gateway padrão e os hosts internos
deste segmento encaminham suas solicitações
externas para este endereço. Mesmo com links e
equipamentos duplicados, a falha no dispositivo ou
link principal causa uma interrupção nas
comunicações, até que a ativação do roteador ou
link secundário seja realizada. Neste sentido, o
protocolo da Cisco HSRP (Hot Standby Router
Protocol) foi desenvolvido para promover a alta
disponibilidade em roteadores, de forma que,
mesmo durante falhas, a rede sempre tenha um
equipamento em funcionamento atuando como
gateway padrão.
A alta disponibilidade é obtida através de um
endereço virtual que é compartilhado entre dois ou
mais equipamentos. Este endereço é definido como
gateway padrão da rede para os hosts internos. Na
ocasião de uma falha no equipamento principal,
outro componente do grupo de alta disponibilidade
assume o seu papel, utilizando o endereço virtual.
Desta forma, a falha fica imperceptível aos clientes
locais, já que a comunicação permanece
ininterrupta. Quando o HSRP é configurado em um
segmento de rede, ele fornece tanto um endereço
MAC quanto um endereço IP virtual, que são
compartilhados entre o grupo de roteadores que
executam este protocolo. Um destes equipamentos
é selecionado para se tornar o ativo, ou seja, o
dispositivo principal que receberá os quadros
destinados ao MAC virtual do grupo.
disponibilidade, onde o gateway padrão para os
hosts internos seja o roteador A. Se houvesse uma
falha neste equipamento, os serviços para a Internet
estariam indisponíveis, mesmo que o roteador B
continuasse operando normalmente. Este estado de
indisponibilidade permaneceria
até que o
administrador de rede configurasse o roteador B
para substituir o equipamento defeituoso, que
passaria a ser o gateway padrão daquele segmento.
Com o benefício da alta disponibilidade oferecido
pelo HSRP, neste mesmo evento de falha do
roteador A, os serviços para a Internet
permaneceriam em perfeito funcionamento, já que o
roteador B perceberia a parada do equipamento
ativo, assumiria o controle dos endereços virtuais e
passaria a responder às solicitações dos hosts
internos.
FIGURA 2 – Funcionamento de um sistema HSRP
4.4 Configurações típicas dos roteadores
O HSRP detecta quando o roteador designado ativo
falha, e a partir deste ponto, um roteador standby
assume o controle dos endereços do grupo. O
controle sobre qual equipamento deve assumir o
papel de ativo ou standby é realizado através de um
valor denominado prioridade. Para se tornar ativo, a
prioridade de um roteador deve ser maior que a dos
outros do grupo.
Segue abaixo a configuração do roteador A:
Para detectar uma falha ou alterações de prioridade
e designar os papéis, os equipamentos trocam
mensagens do tipo HELLO. Estes pacotes são
destinados ao endereço IP multicast 224.0.0.2 sob o
protocolo de transporte UDP na porta 1985. O
roteador ativo envia pacotes com o endereço IP da
sua interface local e o MAC virtual; já o roteador
standby envia pacotes também com o endereço IP
da sua interface, mas com o seu próprio endereço
MAC.
Segue abaixo a configuração do roteador B:
-
-
hostname RoteadorA
interface fastethernet 0/0
description Rede Local
ip address 192.168.1.254 255.255.255.0
standby 1 ip 192.168.1.1
standby 1 priority 150
hostname RoteadorB
interface fastethernet 0/0
description Rede Local
ip address 192.168.1.253 255.255.255.0
standby 1 ip 192.168.1.1
standby 1 priority 140
5.0 REQUISITOS DE SEGURANÇA
4.3 Utilização típica do protocolo HSRP
5.1 Implantação de segurança através da
configuração de listas de controle de acesso –
ACLs
De acordo com a Figura 2, observamos uma
topologia de rede bastante simples, com um
roteador principal e um link para a Internet e um
roteador de backup, também com um link para a
Internet. Imagine uma configuração sem alta
Uma vez que os roteadores foram configurados
para alta disponibilidade com protocolos VRRP ou
HSRP, é necessário alternar o foco para o estágio
seguinte, voltado para as configurações de
X EDAO SE-B-07
3/5
segurança. Estas serão efetuadas com o uso de
tecnologia
disponível
nos
roteadores
e
denominadas listas de controle de acesso, as ACLs.
As ACLS são essencialmente utilizadas com o
propósito de filtrar tráfego IP. O processamento das
ACLs ocorre da seguinte forma: o tráfego que entra
no roteador é comparado com as entradas na ACL,
na ordem em que elas foram escritas.
Novas linhas da ACL podem ser adicionadas ao
final da lista e o roteador irá analisar as linhas da
lista até encontrar uma que combine com o tráfego
específico. Se nenhuma combinação é encontrada
na lista, o tráfego é negado. Existe uma entrada
negando tudo (deny implícito) ao final da lista de
controle de acesso. Por essa razão a lista de
controle de acesso precisa ter pelo menos uma
linha permitindo o tráfego desejado, caso contrário
todo o tráfego será negado. Para exemplificar,
serão analisados os dois exemplos a seguir, eles
têm o mesmo resultado:
5.2 Exemplo 1
access-list 101 permit ip 10.1.1.0 0.0.0.255
172.16.1.0 0.0.0.255
5.3 Exemplo 2
access-list 102 permit ip 10.1.1.0 0.0.0.255
172.16.1.0 0.0.0.255
access-list 102 deny ip any any
Além de definir a origem e o destino do tráfego, é
possível definir portas de origem e destino, tipos de
mensagens ICMP e outros parâmentros que ajudam
ainda mais, a restringir as entradas das listas de
acesso que serão aplicadas nas interfaces dos
roteadores.
5.4 Exemplo 3
access-list 102 permit icmp host 10.1.1.1 host
172.16.1.1 14 - permite todos os tipos de
mensagens icmp;
access-list 102 permit icmp host 10.1.1.1 host
172.16.1.1 eco-request - permite apenas um tipo de
mensagem icmp.
FIGURA 3 – Integração de dados e voz no mesmo canal
de comunicação
Cada canal de comunicação terá um par de
conversores sendo, um equipamento do lado do
Agente e outro do lado do Centro Regional ao qual
se conecta. Os dados provenientes da remota são
entregues ao conversor no formato serial. Este, por
sua vez, faz o encapsulamento destes dados para o
protocolo ethernet-tcp/ip. O pacote encapsulado é
entregue a um roteador que encaminha os dados
até o roteador de destino. Ao chegar, o roteador do
destino encaminha o pacote para o segundo
conversor que faz o processo inverso. Isto é,
remove o encapsulamento e entrega os dados
seriais para o Front-End de comunicação adequado.
Na parte de voz, ocorre processo análogo, com o
uso de interfaces de voz instaladas e configuradas
em cada para de roteadores. A figura 8.2 ilustra o
modelo de conversor atualmente em uso no COSRNCO, para os casos de Agentes com conexões
seriais.
As listas de controle de acesso só terão efeito
depois de aplicadas a uma interface. Uma boa
prática é aplicar a ACL na interface mais próxima da
origem do tráfego.
6.0 SOLUÇÃO DE BAIXO CUSTO USANDO
CONVERSORES SERIAL-IP
Quando o Agente ainda utiliza remotas com
protocolos seriais e também tem que prover
comunicação de voz é possível racionalizar os
recursos de comunicação viabilizando o tráfego de
dados e voz por um único canal digital de 64kbps ou
superior. Isto se torna possível com o
encapsulamento dos dados seriais dentro de um
pacote tcp/ip. A utilização de um conversor viabiliza
este processo de conversão, ilustrado na Figura 3.
X EDAO SE-B-07
FIGURA 4 – Conversor de protocolos serial-IP
O custo de referencia para cada par de conversores
é de aproximadamente R$3700,00, em julho de
2008.
Com a solução apresentada, o agente poderá
atender
aos
requisitos
de
disponibilidade
estabelecidos nos Procedimento de Rede, com
maior facilidade e menor custo haja vista que com
dois canais de comunicação, haverá redundância
de voz e de dados.
4/5
7.0 CONCLUSÃO
Este artigo mostrou as tecnologias aplicadas nas
conexões entre o COSR-NCO do ONS e alguns dos
seus respectivos Agentes. Os requisitos de alta
disponibilidade são atendidos com a adoção de
circuitos de comunicação independentes e
protocolos de chaveamento automático HSRP ou
vrrp. Os requisitos de segurança são implantados
com a tecnologia de listas de controle de acesso,
ACLs. As ligações seriais são amparadas em
conversores que permitem entregar o pacote
adequado a um roteador. Este roteador tem a
função de encaminhar os pacotes de dados seriais
bem como os pacotes de voz, que são
encapsulados. Com esta tecnologia o Agente reduz
consideravelmente o custeio com canais de
comunicação, necessários para garantir a
disponibilidade de dados e de voz.
Jean Carlos Borges Brito graduou-se em
Sistemas de Informação em 2004 pela FACEB. Pós
Graduação em Gerência de Projetos com Ênfase
em Sistemas de Informação (2005) pela FAST e é
Mestrando em Gestão do Conhecimento e
Tecnologia da Informação pela Universidade
Católica de Brasília. É atualmente, analista de TI da
GIT-2 / Brasília.
C-ele: [email protected]
8.0 REFERÊNCIAS BIBLIOGRÁFICAS
[1] ONS, Requisitos de Telecomunicações, in
Procedimentos de Rede, Rev. 1, Resolução
Autorizativa ANEEL no. 1051/07, 25 de
Setembro,
2007,
Submódulo
13.2,
http://www.ons.org.br/download/procedimentos/
Submódulo13.2.pdf
[2]
ONS, Avaliação de desempenho de serviços de
Telecomunicações, in Procedimentos de Rede,
Rev. 1, Resolução Autorizativa ANEEL no.
1051/07, 25 de Setembro, 2007, Submódulo
13.5,
http://www.ons.org.br/download/procedimentos/
Submódulo13.5.pdf
[3] ProtocoloVRRPhttp://guialivre.governoeletronico.gov.br/guiaonli
ne/guiacluster/node41.php#SECTION06179000
000000000000.
[4] ProtocoloHSRPhttp://www.networkexperts.com.br/index.php/tut
oriais/8-cisco/17-alta-disponibilidade-comroteadores-cisco.html
[5] ACLshttp://www.networkexperts.com.br/index.php/tut
oriais/8-cisco/31-lista-de-controle-de-acessoacl.html
[6] Custo dos conversores serial/IP
http://www.5ti.com.br/p28231-servidor-consoleavocent-2949-0.html 14/07/2008.
9.0 BIOGRAFIAS
Jamil de Almeida Silva graduou-se em
telecomunicações (1986) pelo CEFET-GO e em
física (1996) pela UnB. Mestrado em Engenharia de
Produção (2001) pela UFSC. É atualmente
Gerente de Qualidade e Disponibilidade dos SSCs
do CNOS/COSR-NCO.
C-ele: [email protected]
X EDAO SE-B-07
5/5