Laboratórios do Mundo Uni-vos!!!
Francisco Brasileiro
[email protected]
Universidade Federal de Campina Grande, Brasil
Centro de Engenharia Elétrica e Informática
Departamento de Sistemas e Computação
Laboratório de Sistemas Distribuídos
http://www.lsd.ufcg.edu.br/
Seminários da Física
1/27
Campina Grande, 9 de junho de 2009
Roteiro
•
•
•
•
E-Ciência
Grades computacionais
Grades entre-pares (peer-to-peer)
O OurGrid
– Arquitetura
– Uso
• A GridUFCG
Seminários da Física
2/27
Campina Grande, 9 de junho de 2009
e-Ciência
• A tecnologia da informação está mudando a
forma de se fazer pesquisa científica
– Viabilizando a colaboração
– Atuando como importante ferramenta na
investigação
• Análise de dados (ex. mineração de dados)
• Geração de dados (ex. simulação)
• Como resultado, muitos laboratórios de
pesquisa, pelo mundo a fora, têm aumentado
a demanda por poder computacional
Seminários da Física
3/27
Campina Grande, 9 de junho de 2009
Grades Computacionais
• Grades computacionais oferecem
mecanismos para o compartilhamento de
recursos, permitindo:
– Acesso a dados de terceiros
– Acesso a equipamentos sofisticados
– Aumentar o acesso a recursos
computacionais
Seminários da Física
4/27
Campina Grande, 9 de junho de 2009
O Modelo da Organização Virtual
• É o modelo de grades mais difundido
• A entrada na grade é negociada (normalmente
por humanos)
– Segurança é tratada usando os mecanismos
convencionais de Autenticação/Autorização/Auditoria
– Tem capacidade de crescimento limitada
• Permite a definição de políticas de uso flexíveis
e poderosas
– middleware complexo (Globus, gLite, etc)
– Requer um time de suporte competente
Seminários da Física
5/27
Campina Grande, 9 de junho de 2009
Computação Voluntária
• Se apóia na existência de uma enorme quantidade de
poder computacional ocioso nas “pontas” da Internet
– SETI@home (Berkley), Folding@home (Stanford)
• Se mostraram capazes de capturar uma quantidade
significativa de poder computacional
– Grade aberta do ponto de vista dos provedores
– Instalação fácil do software do provedor
• Barreira de entrada é ainda maior, pois requer:
–
–
–
–
Projetos com alta visibilidade
Grande esforço de marketing
Provedor de aplicações com prestígio
Time de suporte qualificado para gerenciar o “servidor”
Seminários da Física
6/27
Campina Grande, 9 de junho de 2009
Esses modelos servem para
resolver o problema do aumento da
demanda computacional de boa
parte dos laboratórios do mundo?
Seminários da Física
7/27
Campina Grande, 9 de junho de 2009
Esses laboratórios ...
• São pequenos
• Direcionam a sua pesquisa para
um tópico específico
• Não pertencem às mais
importantes universidades do
mundo
• Não contam com um time de
suporte super especializado
Seminários da Física
8/27
Campina Grande, 9 de junho de 2009
Grades entre-pares (peer-to-peer)
• Cada laboratório corresponde a um peer no
sistema e contribui com seus recursos ociosos
Utilização da CPU pelo lab 1
1
tempo
Utilização da cpu pelo lab2
1
tempo
Utilização da CPU pelo grid p2p
1
tempo
Seminários da Física
9/27
Campina Grande, 9 de junho de 2009
Grades Entre-Pares
• Peers juntam-se à grade por vontade própria
– Sem burocracia
– Sem uma autoridade central
• Grade aberta para provedores e consumidores de recursos
• Custos de implantação e manutenção são
compartilhados
• Middleware potencialmente mais simples
• Isso torna a solução acessível para a maior
parte dos usuários
Seminários da Física
10/27
Campina Grande, 9 de junho de 2009
Grades Entre-Pares
• Mas ...
– O fato de não termos confiança entre os
pares trás implicações em relação à
segurança da grade
• Proteção contra aplicações não confiáveis
• Proteção contra recursos não confiáveis
– Políticas de uso mais simples
– Possibilidade de pares “caloteiros” (free
riders)
Seminários da Física
11/27
Campina Grande, 9 de junho de 2009
O OurGrid
• Middleware para dar suporte a grades
computacionais entre-pares
• Desenvolvido pela UFCG (LSD/DSC) com
financiamento da HP Brasil P&D (lei de
Informática)
• Atualmente usado em várias grades
computacionais em produção
• Será o middleware usado na GridUFCG
Seminários da Física
12/27
Campina Grande, 9 de junho de 2009
Princípios de design do OurGrid
• Os laboratórios podem, gratuitamente, juntar-se ao sistema
sem negociação humana
– Não há necessidade de reunião e papelada a ser preenchida
• Incentivo claro para juntar-se ao sistema
– Ninguém se prejudica ao juntar-se ao sistema
– Resistente a free riders
• Propriedades básicas
– Oferece um nível mínimo de segurança
– É tolerante a falhas
– Escalável
• Fácil de instalar, configurar e programar
– Não há necessidade de um corpo técnico de suporte muito especializado
Seminários da Física
13/27
Campina Grande, 9 de junho de 2009
Mas … tudo tem seu preço!
• Para simplificar os problemas, nós nos focamos
em aplicações Bag-of-Tasks (BoT)
– Aplicações que são constituídas por um grande
número de tarefas independentes que podem ser
executadas em paralelo
• Felizmente, muitas aplicações importantes são
BoT!
– Data mining, Bio-informática, Simulações Monte
Carlo, Cálculo de fractais, Processamento de
imagens e muitas outras …
Seminários da Física
14/27
Campina Grande, 9 de junho de 2009
Arquitetura do OurGrid
Interface do Usuário
Escalonamento de Aplicações
Serviço de
Rendezvous
Segurança
Seminários da Física
Gerência do site
Compartilhamento de Recursos
15/27
Campina Grande, 9 de junho de 2009
Habilitando uma aplicação para
executar na Grade
• Escrevendo um script usando uma linguagem
bem simples
– Abstrações simples
• Transferência de arquivos (put, store, get)
• Esconde a heterogeneidade da plataforma
($PLAYPEN, $STORAGE)
• Definição de requisitos da aplicação e de atributos dos
recursos
• Implantando um Portal que serve de interface
para a aplicação
• Escrevendo um programa que faz chamadas à
API Java do middleware
Seminários da Física
16/27
Campina Grande, 9 de junho de 2009
Um exemplo:
Rendering usando o OurGrid
job:
label: my_rendering_example
requirements: (os=linux)
task:
init:
store render render
put frame1 frame1
remote:
$STORAGE/render < frame1 > output-$JOB-$TASK
final:
get output-$JOB-$TASK output-frame1
task:
init:
store render render
put frame2 frame2
remote:
$STORAGE/render < frame2 > output-$JOB-$TASK
final:
get output-$JOB-$TASK output-frame2
…
Seminários da Física
17/27
Campina Grande, 9 de junho de 2009
Algumas Aplicações
• Baseadas em scripts
– Avaliação de risco de empréstimos agrícolas
(EMBRAPA)
– Nossa própria pesquisa em ciência da
computação
• Simulações
• Baseadas na API
– SmartPumping (PETROBRAS)
• Execução paralela de algorítmos genéticos para otimização
do bombeio de petróleo
– EPANET-Grid (projeto de P&D)
• Versão do EPANET habilitada para execução em grade
– GridVida (projeto de P&D)
• Processamento de imagens em repositórios digitais para dar
suporte ao diagnóstico
Seminários da Física
18/27
Campina Grande, 9 de junho de 2009
Algumas Aplicações
• Baseados em Portais
– SegHidro (projeto de P&D)
• “Ecossistema” de gestão de recursos hídricos
• Usuários na academia, no governo e na indústria
– Pesquisadores desenvolvendo novos modelos e ajustando
modelos existentes
– Centros operacionais provendo informação à sociedade gerada
a partir de simulações ou de medições
• Permite a configuração de workflows de modelos de
simulação e a execução dos mesmos em ensembles
• Permite o compartilhamento de recursos
computacionais, dados e expertise complementar
Seminários da Física
19/27
Campina Grande, 9 de junho de 2009
Estado Atual do OurGrid
• OurGrid dá suporte à comunidade OurGrid
– Uma grade de entrada aberta que está em produção desde
dezembro de 2004
– http://status.ourgrid.org/
• ShareGrid
– Projeto colaborativo coordenado pelo TOPIX (TOrino Piemonte
Internet eXchange) na Itália
– http://dcs.di.unipmn.it/
• EELA-2
– Projeto financiado pela CE que visa a implantação de uma
grade computacional envolvendo várias instituições na América
Latina e na Europa
• Nosso papel nesse projeto é fazer o OurGrid interoperar com o
gLite (middleware usado pela grade do CERN)
• O OurGrid é distribuído como open source (GPL) e a versão
4.1.5 está disponível em http://www.ourgrid.org/
– Contribuições são muito bem-vindas!
Seminários da Física
20/27
Campina Grande, 9 de junho de 2009
A GridUFCG
• Projeto submetido ao CT-INFRA 2009
• Grade computacional institucional que permitirá
o compartilhamento de boa parte da infraestrutura de TI da UFCG
– Na primeira fase de implantação
• 1.500 desktops de uso compartilhado (laboratórios de ensino
e pesquisa e administração)
• 7 clusters
• Licenças de software
• Dados
• Inclui o treinamento de alunos e pesquisadores
em metodologias científicas apoiadas no uso de
TI
Seminários da Física
21/27
Campina Grande, 9 de junho de 2009
Conclusões
• Nós desenvolvemos o software necessário para manter
uma grade computacional entre-pares aberta para dar
suporte a aplicações BoT que está ajudando pessoas
com a realizarem suas pesquisas de forma mais rápida
e efetiva
• Nosso próximo passo é massificar o uso da
tecnologia
– GridUFCG é um dos principais vetores dessa
massificação no nível local
• Usuários reais são primordiais para a condução de
pesquisa adequada na área de sistemas computacionais
• Prover tecnologia que é de fato usada por aplicações e
usuários reais é muito gratificante!
Seminários da Física
22/27
Campina Grande, 9 de junho de 2009
Obrigado pela atenção!
Perguntas?
• Um bom lugar para começar a conhecer
mais sobre o OurGrid é:
– Labs of the world, unite!!! W. Cirne, F. Brasileiro, N.
Andrade, L. Costa, A. Andrade, R. Novaes, M. Mowbray.
Journal of Grid Computing 4 (3) (2006) 225-246.
E visitem
http://www.ourgrid.org/!
Seminários da Física
23/27
Campina Grande, 9 de junho de 2009