20/10/2008
Agenda
O Serviço Experimental MonIPÊ
1.
2.
3.
CACTISonar
Murilo Vetter
Equipe MonIPÊ
[email protected]
[email protected]
perfSONAR
CACTI
CACTISonar:
1.
2.
3.
4.
5.
6.
4.
5.
Descrição e funcionalidades
Agendamento e Armazenamento
Modelos de Testes e Matrizes
Algoritmo Fail-over
Logs
Weathermap
Conclusão
Prática
http://wiki.nuperc.unifacs.br/portalmonipe/
14º SCI – Natal-RN, 20 a 24 de outubro de 2008
14º SCI – Natal-RN, 20 a 24 de outubro de 2008
perfSONAR
CACTI
• Foco: Monitoramento de Redes em Ambientes Inter-Domínio
• Conjunto de serviços bem definido (MP, MA, LS, AS, TS, RP, TopS)
• Protocolo comum de comunicação baseado em Serviços Web
(WS)
• Atividade colaborativa entre NRENs
• Infra-estrutura modular, não acoplada e com mecanismos de
segurança
• Arcabouço em três camadas:
• Foco: gerenciamento completo do ciclo de vida de arquivos
RRDTool
• Composto de:
– Interface com o Usuário
– Serviço
– Ponto de Medição
– Interface de console
– Área para exploração avançada dos gráficos
• Coleta de dados: SNMP ou scripts externos (linha de comando ou
script server)
• Execução dos scripts: poller periódico
• Criação de:
– Fontes de dados e gráficos personalizados
– Modelos de gráficos e fontes de dados
• Possui uma infra-estrutura para plug-ins
14º SCI – Natal-RN, 20 a 24 de outubro de 2008
CACTISonar
•
•
•
•
14º SCI – Natal-RN, 20 a 24 de outubro de 2008
CACTISonar ambiente Integrado
Controle do monitoramento fim-a-fim no contexto do perfSONAR
Aumentar as possibilidades de gerenciamento
Integra a infra-estrutura do perfSONAR ao CACTI
Permite aos administradores:
– Observarem dados históricos
– Agregação e a composição de métricas
• Implementa o RRD-MA (Opção desabilitada na sua última
versão, será novamente implementada em versões futuras):
– Expõe dados coletados pelo ambiente
– Serviço configurável permitindo restrição sobre os dados publicados
14º SCI – Natal-RN, 20 a 24 de outubro de 2008
Admin
Interface
Núcleo do CACTI
Usuário
perfSONAR-UI
Usuário
perfSONAR-UI
M
A
R
R
D
Weathermap
CACTISonar
CACTI
Arq. RRD
MP
G
E
R
Ê
N
C
I
A
Conf. MySQL
LS
MA
Roteador
Switch
Servidor
14º SCI – Natal-RN, 20 a 24 de outubro de 2008
1
20/10/2008
CACTISonar
Devices, Serviços e Grupos de Serviços
• Componentes que fazem parte do Plugin:
• Devices:
–
–
–
–
–
–
Devices
Serviços
Grupo de Serviços
Modelos de Testes
Agendas
Matrizes
– Definem os equipamentos dos
pontos de medição
• Serviços:
– Definem os pontos de acesso web
• Grupo de Serviços:
– Permite agrupar serviços por
diferentes tipos de serviços (MP,
MA, TopS...)
14º SCI – Natal-RN, 20 a 24 de outubro de 2008
14º SCI – Natal-RN, 20 a 24 de outubro de 2008
Modelos de Testes
Agendas
• Modelos de testes:
• Agendas:
– Valores padrões
para os parâmetros
das ferramentas
– Passados nas
execuções dos
testes através
das matrizes
– Definem passo dos
arquivos RRDs
– Definição da agenda
do CL-MP no
estilo Crontab
14º SCI – Natal-RN, 20 a 24 de outubro de 2008
14º SCI – Natal-RN, 20 a 24 de outubro de 2008
Matrizes
Agendas
• Matrizes de testes:
• Define a periodicidade em que serão feitos os testes
• Faz o relacionamento das agendas do CL-MP com o
passo do RRD
• Parâmetros da agenda:
– Permite a replicação de testes
nos MPs
– Execuções entre MPs
do perfSONAR
– Pode se associar a:
• Um grupo de MPs
(previamente definido)
• Um modelo de testes
• Um modelo de agendamento
(previamente definido)
– Usuário: define MPs das matrizes
• Linhas = fontes
• Colunas = destinos
14º SCI – Natal-RN, 20 a 24 de outubro de 2008
–
–
–
–
–
–
–
–
Description: Descrição (CACTI)
Short Description: Descrição curta (CACTI)
Step Size: Define o passo do RRD
Minutes: Define o minuto da agenda
Hours: Define a hora da agenda
Day of Month: Define os dias do mês
Month: Define o mês
Day of Week: Define o dia da semana
14º SCI – Natal-RN, 20 a 24 de outubro de 2008
2
20/10/2008
Agendas II
Agendas III
• Exemplos:
• Exemplos (II):
– Periódico de 5 em 5 minutos:
•
•
•
•
•
•
•
•
Description:
Short Description:
Step Size:
Minutes:
Hours:
Day of Month:
Month:
Day of Week:
– Periódico de Hora em Hora (Minuto 0):
•
•
•
•
•
•
•
•
De 5 em 5 minutos
5 minutos
300 (Segundos)
*/5
*
*
*
*
Description:
Short Description:
Step Size:
Minutes:
Hours:
Day of Month:
Month:
Day of Week:
14º SCI – Natal-RN, 20 a 24 de outubro de 2008
De 1 em 1 hora (minuto 0)
1 hora (min 0)
3600 (Segundos)
0
*
*
*
*
14º SCI – Natal-RN, 20 a 24 de outubro de 2008
Formas de Agendamento
Formas de Agendamento II
• Sob-Demanda:
• MA Peer-to-peer:
– CACTISonar controla os testes entre os MPs.
– Interação: CACTISonar  MPs
– Há a possibilidade do CACTISonar controlar os testes entre os
MPs e de agendamento dos testes nos MPs e recuperação
dos dados no MA configurado.
– Gerenciamento das agendas de forma semelhante ao MA
Central.
– Interação de agendamento e sob-demanda: CACTISonar 
MPs
Interação de recuperação de dados: CACTISonar  MA
• MA Central:
– CACTISonar agenda os testes nos MPs e recupera os dados
no MA configurado.
– CACTISonar gerencia as agendas (Inclui / Exclui, Gerencia
questões de perda das agendas e a falta de dados no MA)
– Interação de agendamento: CACTISonar  MPs
Interação de recuperação de dados: CACTISonar  MA
14º SCI – Natal-RN, 20 a 24 de outubro de 2008
14º SCI – Natal-RN, 20 a 24 de outubro de 2008
C
A
C
T
I
Tarefa A
Tarefa B
Teste A
Teste B
Teste C
Teste D
Agendamento via CL-MP - Armazenamento MA
MP B
Verifica se o device
está no Ar e se o
serviço web também
Poller
Tarefas
Admin
Administrador
cadastra as
matrizes
MP A
Testes das Matrizes
adicionados no
Poller do CACTI
Caso os devices e os serviços do teste
estiverem no Ar, dispara teste sobdemanda no CL-MP de Origem e aguarda
a resposta. Armazena os resultados
diretamente nos arquivos RRD
Admin
Administrador
cadastra as
matrizes
MP A
Testes das Matrizes
adicionados no
Poller do CACTI
C
A
C
T
I
Poller
Tarefas
Agendamento via CACTISonar – Armazenamento RRD
Tarefa A
MA
Tarefa B
Teste A
Teste B
Teste C
Teste D
Teste E
Teste E
Tarefa C
Tarefa C
14º SCI – Natal-RN, 20 a 24 de outubro de 2008
Verifica se o device
está no Ar e se o
serviço web também
MP B
Caso os devices e os serviços do teste
estiverem no Ar (MPs e MA), adiciona
agenda no MP dizendo para armazenar
no MA / busca os dados do teste no MA
14º SCI – Natal-RN, 20 a 24 de outubro de 2008
3
20/10/2008
Qual é a periodicidade em que os testes
rodarão?
• A periodicidade em que os testes serão chamados pelo poller do
CACTI dependerá do tamanho do passo do RRD definido pelas
Agendas (testes perfSONAR)
• Ex:
Agenda com Step Size = 300, teste é disparado de 5 em 5
minutos
Agenda com Step Size = 3600, teste é disparado de 1 em 1
hora
Agenda com Step Size = 86400, teste é disparado de
diariamente
OBS: Deve-se tomar cuidado para casar os
dados do Step Size do RRD com os
parâmetros da Agenda do CL-MP
Como o CACTISonar dispara os testes?
• Testes são controlados através do Poller do CACTI
• Pré-requisitos de Cadastro:
–
–
–
–
–
–
MPs => Computador (Device) e Serviço WEB
Agendas de Testes
Modelos de Testes
Grupos de Serviços (Opcional)
Árvores de Gráficos (Opcional)
Matrizes de Testes
• Criação dos Datasources dos Testes
– Gerenciamento de Gráficos
• Colocar os dados para serem graficados
14º SCI – Natal-RN, 20 a 24 de outubro de 2008
Algoritmo de Fail-over
CACTI
Verifica se os
dados estão
OK. Caso
esteja,
armazena
no RRD
MA
Depois do teste estar agendado no MP, há a tentativa de
recuperar os dados no MA como segue
MP Origem
14º SCI – Natal-RN, 20 a 24 de outubro de 2008
Algoritmo de Fail-over II
CACTI
MA
MP Origem
Caso ultrapassou o número de
tentativas do Failure Count
Recupera dados do teste com IP de Origem = 192.168.1.10, IP de Destino = 192.168.1.11,
Horário Início: 10:00hs, Horário Final: 10:05hs, Tipo: OWAMP
Verifica a agenda para o MP de Origem do teste, listando informações da agenda
Retorna os dados do teste
Retorna informações sobre a agenda
Recupera dados do teste com IP de Origem = 192.168.1.10, IP de Destino = 192.168.1.11,
Horário Início: 10:05hs, Horário Final: 10:10hs, Tipo: OWAMP
Verifica se os
Retorna os dados do teste
dados estão
Atualiza algoritmo durante as tentativas falhas.
OK,
Se passar do valor definido no Failure Count do perfSONAR
caso não,
na Guia Settings aba Poller
atualiza algoritmo
14º SCI – Natal-RN, 20 a 24 de outubro de 2008
Caso a agenda estiver certa, atualiza algoritmo. Senão,
inclui novamente a agenda e atualizando as informações
da agenda. Retoma o processo novamente desde o
começo do algoritmo no qual vai verificar os dados no MA
14º SCI – Natal-RN, 20 a 24 de outubro de 2008
Logs CACTI
Logs CACTI II
• Os Logs do CACTISonar são reportados no dispositivo padrão de
Logs do CACTI através do arquivo de Logs definido em Settings > Paths, parâmetro Cacti Log File Path:
• Para alterar ao níveis de Log, altere os parâmetros na Opção
Poller Specific Logging em Settings -> General:
• Há a possibilidade de realizar logs via Syslog, configurando em
Settings -> General -> Log File Destination, parâmetro
Syslog/Eventlog only
14º SCI – Natal-RN, 20 a 24 de outubro de 2008
14º SCI – Natal-RN, 20 a 24 de outubro de 2008
4
20/10/2008
Logs CACTI III
•
•
•
•
•
•
Análise on-line Logs (System Utilities -> View Cacti Log File)
Filtros tipo mensagem (All / Stats / Warning / Errors / Debug / SQL Calls)
Tempo de atualização (Refresh)
Ordem amostragem mensagens (novas primeiro / últimas primeiro).
Número de linhas de
análise do arquivo de
log (Tail Lines)
Filtros definidos pelo
administrador (Search)
Weathermap
• Definição de mapas para representar métricas do
perfSONAR
• Facilita visualização e diagnóstico de problemas
• Atualmente os mapas são feitos manualmente
• O monitoramento ainda só é possível por métricas
simples (definidas nos arquivos RRDs), e não
compostas
• Irá ser integrado nas versões futuras do CACTISonar
• Há a intenção de disponibilizar esses mapas feitos via
mensagens do protocolo do perfSONAR
14º SCI – Natal-RN, 20 a 24 de outubro de 2008
14º SCI – Natal-RN, 20 a 24 de outubro de 2008
Weathermap II
Outras Funcionalidades
• Exemplos de mapas que já são possíveis de serem
construídos, dentre os quais: Vazão, Atraso em Um
Sentido, Sincronismo de Relógio, Hops e Variação
de Atraso
• Mapear modelos de fontes de dados para Event Types
do perfSONAR
• Gerenciar:
– Tipos de serviço
– Ferramentas
– Event Types do perfSONAR
• Visualizar os dados medidos
14º SCI – Natal-RN, 20 a 24 de outubro de 2008
14º SCI – Natal-RN, 20 a 24 de outubro de 2008
CACTISonar (Versão 0.5 a 0.6)
CACTISonar (Versão 0.5 a 0.6) II
• A última versão estável é a 0.5. Versão de testes é a versão 0.5a
(instalado no treinamento e na RNP)
• Versão 0.5a:
• Versão 0.6:
–
–
–
–
Compatibilização com a versão 3.0 do perfSONAR.
Agendamento externo via CLMP,
Armazenamento e recuperação de dados via MA.
Dispositivo de logs integrado ao CACTI para os testes perfSONAR,
incluindo traces das mensagens NMWG trocadas entre os
componentes da infra-estrutura do perfSONAR.
– Adaptação do Weathermap (Plugin do CACTI) para disponibilizar
mapas com as informações do perfSONAR.
– Ainda não possui procedimento de instalação fechado, porém a
última versão estável 0.5 já está contemplada na nova Arquitetura de
Plugins 2.1 do CACTI.
14º SCI – Natal-RN, 20 a 24 de outubro de 2008
– Reabilitar o RRD-MA implementado pelo CACTISonar.
– Realizar o Registro no LS.
– Fechar pacote do CACTISonar para instalação.
• Funcionalidades Futuras:
– Implementação das funcionalidades de Autenticação na interação do
testes do CLMP e na disponibilização dos dados do MA do
CACTISonar.
– Permitir a realização de testes (sob demanda e/ou agendados) entre
nós que não sejam somente MPs.
– Permitir a recuperação de dados do LS para automatizar a
configuração do CACTISonar.
– Mensagens de self-test do perfSONAR.
– Exportação de configurações.
– Painel de Controle dos Serviços perfSONAR.
14º SCI – Natal-RN, 20 a 24 de outubro de 2008
5
20/10/2008
Conclusão
• Monitoramento multi-domínio: Desafiador
• CACTISonar:
–
–
–
–
–
–
Prática
Traz benefícios de monitoramento do perfSONAR
Pacote de software fácil de ser implantado
Permite o fácil gerenciamento de serviços perfSONAR
Aspecto chave: Extensibilidade
Simples integração de novas métricas
Dados coletados: facilmente expostos e acessíveis
• Trabalhos futuros:
– Adição de novas formas de visualização
• Matriz (Painel de controle)
– Integrar novos serviços do perfSONAR
– Manter a ferramenta alinhada ao perfSONAR
14º SCI – Natal-RN, 20 a 24 de outubro de 2008
Procedimento de Instalação do Plugin
•
•
A última versão de instalação do plugin se encontra em:
http://wiki.nuperc.unifacs.br/monipe/index.php/Install-CACTISonar
Passos de Instalação:
– Instalação de dependências
– Instalação do CACTI (MySQL, RRDTool, Servidor WEB, CACTI e
atualizações Oficiais)
– Instalação da Arquitetura de Plugins
– Instalação do CACTISonar:
•
•
•
14º SCI – Natal-RN, 20 a 24 de outubro de 2008
Passos de configuração de um MP no
CACTISonar
•
•
•
•
•
•
Adicionar MP no CACTI
Configurar o Serviço no CACTI
Criar grupo de serviços
Criar agenda de testes
Configurar Matrizes
Colocar os gráficos para graficar
Aplicação do PATCH
Descompactação do CACTISonar no diretório plugins do CACTI
Instalação via nterface gráfica (Plugin Management -> Install -> Enable e
User Management -> [perfSONAR, perfSONAR MP, perfSONAR Config]
14º SCI – Natal-RN, 20 a 24 de outubro de 2008
14º SCI – Natal-RN, 20 a 24 de outubro de 2008
Adicionar MP no CACTI
Configurar o Serviço no CACTI
•
•
Adicionar MP no CACTI
indo pelo Menu da
esquerda na opção
Management ->
Devices, clicando
na opção add
14º SCI – Natal-RN, 20 a 24 de outubro de 2008
Configurar serviço no CACTI indo pelo Menu da esquerda na
opção perfSONAR -> Services, clicando na opção add
14º SCI – Natal-RN, 20 a 24 de outubro de 2008
6
20/10/2008
Criar grupo de serviços
•
Configurar grupo de serviços no CACTI indo pelo Menu da
esquerda na opção perfSONAR -> Service Groups, clicando na
opção add
Criar agenda de testes
•
14º SCI – Natal-RN, 20 a 24 de outubro de 2008
Configurar uma nova agenda no CACTI indo pelo Menu da
esquerda na opção perfSONAR MPs -> Schedules, clicando na
opção add
14º SCI – Natal-RN, 20 a 24 de outubro de 2008
Configurar Matrizes
Colocar os gráficos para graficar
•
•
Configurar matrizes no CACTI indo pelo Menu da esquerda na
opção perfSONAR MPs -> Matrices, clicando na opção add
14º SCI – Natal-RN, 20 a 24 de outubro de 2008
Colocar testes para graficar no CACTI indo pelo Menu da
esquerda na opção Management -> Graph Management,
escolhendo a opção Choose an action: Place on a Tree ...
14º SCI – Natal-RN, 20 a 24 de outubro de 2008
Análise dos Resultados no CACTISonar da
RNP
•
Obrigado
Verificar
–
–
–
–
Mapas do Weathermap
Modelos de Testes
Matrizes implementadas
Árvore de Gráficos
Dúvidas/Sugestões
Murilo Vetter
Equipe MonIPÊ
[email protected]
[email protected]
http://wiki.nuperc.unifacs.br/portalmonipe/
14º SCI – Natal-RN, 20 a 24 de outubro de 2008
14º SCI – Natal-RN, 20 a 24 de outubro de 2008
7