SegHidro
Projeto SegHidro:
Visão, Resultados e Perspectivas
Walfredo Cirne
Francisco Brasileiro
Eliane Araújo
Enio Souza
Carlos Galvão
Universidade Federal de Campina Grande
Contextualização
•
SegHidro
A gestão de recursos hídricos é multidisciplinar e
requer especialistas de diversas áreas
− meteorologistas, hidrólogos, agrônomos, economistas, ...
•
Grupos se beneficiariam muito de ter acesso aos
dados uns dos outros, tanto em pesquisa, quando
em produção
•
Computação de alto desempenho é demandada por
modelos de simulação e otimização e para
caracterizar risco e incerteza
•
Há membros da rede de cooperação carentes de
recursos computacionais
A Visão SegHidro
•
SegHidro
Qualquer grupo trabalhando em gestão de recursos
hídricos (seja produção ou pesquisa) deveria ter
acesso (de forma simples e rápida) aos dados
públicos de qualquer outro grupo trabalhando na
área
− Note que o compartilhamento de dados implica no
compartilhamento da expertise do gerador do dado
•
Nenhum procedimento ou estudo deveria deixar de
ser feito (ou reduzido em escopo) devido a falta de
poder computacional
O Projeto SegHidro
SegHidro
•
Implantar uma grade computacional que forneça
infra-estrutura para computação de alto
desempenho e compartilhamento de dados e
expertise
•
Desenvolver aplicações sobre esta grade
computacional que efetivamente demonstrem a
utilidade da infra-estrutura
− Fundamental para quebrar a inércia da adoção de uma
nova tecnologia, iniciando assim o circulo virtuoso de
expansão-e-uso
Participantes do Projeto
SegHidro
•
UFCG: Informática, Meteorologia e Recursos Hídricos
•
INPE/CPTEC: Centro de Previsão de Tempo e Estudos Climáticos
•
FUNCEME: Fundação Cearense de Meteorologia e Recursos Hídricos
•
ITEP/LAMEPE: Lab. de Meteorologia de Pernambuco
•
Embrapa: Informática Agropecuária e Tabuleiros Costeiros
•
AAGISA, SEMARH  AESA: Agência de Águas da Paraíba
•
SAIA/EMATER: Empresa de Extensão Rural da Paraíba
•
Hewlett Packard
Infra-estrutura do Projeto
•
SegHidro
Computadores adquiridos pelo projeto SegHidro para o
desenvolvimento do software
− 12 desktops e 2 notebooks
•
Computadores e clusters adquiridos no projeto COPAD (CTInfra Laboratórios Multiusuários)
− 2 clusters com 20 processadores cada – UFCG Meteor. e AESA-PB
− 40 desktops dispersos geograficamente em grade
•
Infra-estrutura da comunidade OurGrid
− 300 processadores
•
•
O sistema operacional é o LINUX
Todo software desenvolvido é de código aberto, assim como
toda a plataforma utilizada (Linux, OPeNDAP e OurGrid)
Metas: Infra-estrutura de grade
•
•
•
SegHidro
Implantar o OurGrid como infra-estrutura de
computação de alto desempenho para os
participantes do projeto
Implantar a tecnologia OPeNDAP como
mecanismo de compartilhamento de dados
Refinar e adaptar OurGrid e OPeNDAP para
melhor servir a comunidade SegHidro
− Suporte a clusters com MPI como unidade de
processamento
•
Estas tecnologias encontram-se no estado-da-arte
da tecnologia de grades
Compartilhamento de recursos
computacionais: o OurGrid
•
SegHidro
É uma solução grid para execução de Aplicações
Bag-of-Tasks (tarefas paralelas e independentes)
− Uma tarefa pode ser ela mesma uma aplicação paralela
•
Um peer (ou site) é um domínio administrativo
dentro da grade
•
Peers são completamente autônomos e
independentes
− A grade é uma federação
•
Jobs locais sempre têm prioridade sobre jobs
remotos
•
Jobs remotos são priorizados por reciprocidade
Arquitetura OurGrid
SegHidro
Gerente do Site
Rede de Favores
Interface com
Usuário
Escalonamento
SWAN
, ... ,
1
n
MyGrid
Sandboxing
Um Portal no OurGrid
Interface com
Usuário
SegHidro
Gerente do Site
Rede de Favores
Escalonamento
SWAN
Portal
, ... ,
1
n
MyGrid
Sandboxing
A questão da segurança na grade [1]
•
SegHidro
Os recursos são protegidos através da utilização de
tecnologia de sandboxing. Nossa implemntação
chamada de SWAN (Sandbox Without A Name) se
baseia no uso da máquina virtual Xen. SWAN
garante segurança à máquina hospedeira da
computação. Extensões de SWAN permitem o
acesso a um serviço seguro de armazenamento de
dados compartilhado e à criação de uma rede de
comunicação privada para as tarefas de uma
aplicação particular, mesmo quando essas
executam em domínios administrativos distintos.
A questão da segurança na grade [2]
•
SegHidro
Em relação à segurança da aplicação, ou seja, a
confiabilidade do processamento executado e a
privacidade dos dados de entrada e saída, o
OurGrid deixa isso a cargo da aplicação. No caso
do SegHidro, os dados processados são públicos e
a questão de provacidade não é relevante. Em
relação à confiabilidade da execução, técnicas de
marca-d’água podem ser facilmente utilizadas.
Interoperabilidade do OurGrid
com outros sistemas
SegHidro
•
Estamos trabalhando na definição de um modelo
de interoperabilidade do OurGrid com outros
softwares de grid estabelecidos, como o Globus e o
gLite.
•
A continuidade desta ação ainda dependente de
novos recursos financeiros.
Compartilhamento de dados:
OPeNDAP
SegHidro
•
Provê facilidade na interoperabilidade de dados
•
Dados matriciais disponíveis através de servidores
•
As consultas à estes dados permitem extrair uma
fatia dos dados
− Dados desnecessários não são transmitidos
− Grande diferencial para aplicações de ciências
ambientais
•
O usuário não precisa se preocupar com o formato
no qual está armazenado os dados
− Mas precisa se preocupar com a semântica dos dados!!!
•
Detalhes e servidores em www.opendap.org
Arquitetura OPeNDAP
SegHidro
Dados compartilhados
•
SegHidro
Os dados produzidos pelo SegHidro
− uma nova simulação não precisa ser re-executada
se o resultado já existe
•
As previsões de tempo e clima produzidas
pelos centros operacionais
•
Dados de monitoramento ambiental produzidos
pelas agências governamentais
− Úteis para validação, análise comparativa, etc
Metas: Aplicações [1]
•
SegHidro
Modelos Atmosféricos Regionais
− Disponibilização de dados do modelo global do CPTEC
− Adaptação de dois modelos regionais às condições de
contorno do modelo global
− Disponibilização de resultados de um terceiro modelo
regional
− Ampliação, de 6 para 15 dias, da simulação de um
modelo atmosférico regional
− Aumento da resolução, para 20 e 5 km, de um modelo
atmosférico regional
•
Gestão de Reservatórios
− Adaptação de dois modelos hidrológicos
− Desenvolvimento de um modelos de simulação de
reservatórios
Metas: Aplicações [2]
•
SegHidro
Gestão de Aqüíferos Aluviais
− Adaptação de um modelo hidrogeológico
− Desenvolvimento de um modelo de recarga do aqüífero
•
Planejamento Agrícola
− Disponibilização de resultados de modelos atmosféricos
ao Agritempo
− Desenvolvimento de um modelo de balanço hídrico
agrícola
•
Portal e toolkit para execução das aplicações
− Viabilizam o cadastro, compartilhamento e acoplamento
de modelos através da execução de workflows
− Permitem a análise de vários cenários em paralelo de
forma eficiente
Modelos atmosféricos globais e
regionais
Regionais: área limitada,
resolução de 20-60 km
Globais: todo o planeta,
resolução de 100-300 km
SegHidro
Modelos atmosféricos regionais e
refinamento da resolução
Global
Regional
Regional
SegHidro
Modelagem atmosférica nos centros
estaduais de meteorologia
•
SegHidro
Desafio
− Disponibilizar as previsões aos usuários finais (hidrólogos,
agrônomos, gestores, …)
•
Dificuldades
− Acesso limitado aos resultados dos modelos globais, que rodam nos
grandes centros de previsão climática
− Acesso limitado aos modelos regionais e a recursos computacionais
para executá-los
− Conhecimento limitado sobre os próprios modelos atmosféricos e os
formatos de saída de dados, de modo a poder analisá-los e
convertê-los aos formatos de entrada dos modelos hidrológicos e de
gestão
− Integração entre meteorologistas, hidrólogos e gestores para
trabalhar em conjunto
A solução SegHidro:
Execução de cascata de modelos
SegHidro
no Super: CPTEC
e outros centros
na Grade
Execução de cascata de modelos
automaticamente traz
no SegHidro O SegHidro
as previsões e condições de
contorno do modelo global, que
roda em supercomputador
Modelo Atm. Global
SegHidro
Execução de cascata de modelos
no SegHidro
Modelo Atm. Global
Modelo Atm. Regional
Previsões dos modelos globais são
melhoradas usando modelos
regionais,
que podem ser executados por
outras instituições (pequenos
centros de previsão),
através da grade computacional.
SegHidro
Execução de cascata de modelos
no SegHidro
Conjunto de
previsões de
chuva
Modelo Atm. Global
Modelo Atm. Regional
Conjunto de
previsões de
chuva
Previsões de chuva
tornam-se acessíveis
aos outros modelos
na cascata
SegHidro
Execução de cascata de modelos
no SegHidro
Conjunto de
previsões de
chuva
Modelo Atm. Global
Modelo Atm. Regional
Conjunto de
previsões de
chuva
Modelos
hidrológicos,
agrícolas e de
gestão
Previsões
integradas
As previsões integradas podem ser avaliadas
colaborativamente pelos especialistas, usuários
e tomadores de decisão
SegHidro
Acoplamento: troca de dados e
interoperabilidade entre modelos
M1
M2
M...
M1
M2
M...
Arquivo
PMH texto
PMH
text file
Wrapp er
Modelo
Hidrológico
Hy dr o l og i c
Wrapp er
Modelo
Reservoirde
Management
Reservatório
Stored Volumes
Volumes
futuros
Arquivo
PHR texto
PHR
text file
SegHidro
Mantendo simplicidade:
Interfaces entre os modelos
Lat
Lon
Altitude
Data
Hora
-35.0639
-35.0639
-35.0639
-35.0639
-35.3799
-8.2786
-8.2786
-8.2786
-8.2786
-8.1410
1000
1000
1000
1000
1000
1971-01-01 00:00:00
1971-01-02 00:00:00
1971-01-03 00:00:00
1971-01-04 00:00:00
1971-01-01 00:00:00
SegHidro
Precip
Temp
20.2
40.9
32.1
19.8
18.7
25.1
25.0
24.8
24.8
25.0
PMH
Data
01/01/1963
01/01/1963
02/01/1963
03/01/1963
04/01/1963
05/01/1963
06/01/1963
Vazão (m3/s)
9.000
9,000
0,000
13,580
0,000
0,000
0,000
PHR
Usando SegHidro
•
Como fornecer uma forma simples de usar
SegHidro, e ao mesmo tempo dar total liberdade
para seu uso?
− Provendo duas formas de se usar o SegHidro!!!
•
O Portal SegHidro fornece acesso Web, sendo
muito simples de usar
− Ideal para quem faz tarefas rotineiras no SegHidro
•
SegHidro
O Toolkit SegHidro oferece acesso programável
− Ideal para quem está fazendo pesquisa ou quer
automatizar a execução de aplicações
Portal SegHidro
http://portalseghidro.dca.ufcg.edu.br/
•
Execução de fluxo dos modelos
•
Anotação dos resultados
•
Permite o upload/cadastro de modelos
•
Baseado no Jetspeed
SegHidro
Portal SegHidro
SegHidro
Execuções de Produção
SegHidro
Criando um Fluxo de Modelos
SegHidro
SegHidro Toolkit
SegHidro
•
Certos usuários precisam de mais flexibilidade do
que o portal oferece
•
O Toolkit SegHidro fornece acesso a todas as
abstrações SegHidro via comando de linha, no
Linux
− Scripts para automação de tarefas complexas podem ser
facilmente criados
•
Suporte ágil à pesquisa e a usuários avançados
fecha o ciclo de pesquisaavaliaçãoprodução,
fomentando a contínua melhoria do sistema
Aplicação Agrícola:
O Agritempo da EMBRAPA
SegHidro
•
Processa e gera informações meteorológicas e
agrometeorológicas de todos os municípios e
estados brasileiros
•
Disponibiliza o zoneamento agrícola nacional
•
Disponibiliza boletins agroclimatológicos e mapas
temáticos
•
www.agritempo.gov.br
•
Com o SegHidro, a AESA-PB e a UFCGMeteorologia disponibilizam ao Agritempo
previsões de tempo com 15 dias de antecedência
Aplicação Agrícola:
previsão de déficit hídrico
SegHidro
Membros da previsão
meteorológica
EMATER - PB
Portal para apoio à gestão agrícola
Disponibilização
de Previsões de
Chuva,
Temperatura,
Umidade e Vento
SegHidro
Rodadas do Modelo
de Balanço Hídrico
a partir da
Previsão
Disponibilizada
Gestão de Reservatórios – Açudes:
previsão do volume armazenado
SegHidro
volume armazenado (milhões m3)
500
450
400
350
300
250
200
150
100
50
0
jan
2000
mar
mai
jul
set
nov
jan
2001
Aqüíferos Aluviais e
Barragens Subterrâneas
Níveis da água no final do período seco
89
Níveis da água nos poços
88
P87
P84
P57
P65
P73
P52
P51
P47
P46
Nivel Freático (m)
87
86
85
84
83
Período Seco
Período Chuvoso
82
Ago
Set
Out
Nov Dez
Jan
Fev
Mar
Abr
Mai
Jun
Jul
Tempo (meses)
Níveis da água no final do período chuvoso
SegHidro
Status do Projeto [1]
SegHidro
•
Todas as metas atingidas
•
SegHidro está plenamente funcional, tanto na infraestrutura, quanto nas aplicações piloto
•
Desenvolvimento concluído em julho 2006, quando
houve a reunião final do projeto
•
Atualmente em manutenção e transferência a
usuários, através de reuniões e eventos de
capacitação previstos no projeto com este fim
•
O SegHidro tem sido divulgado em vários eventos
técnico-científicos nas áreas fins
Status do Projeto [2]
•
SegHidro
Testes e homologação das tecnologias
desenvolvidas
− O OurGrid já está em produção desde dezembro de 2004.
− O portal SegHidro está em produção gradual desde maio
de 2005.
− Nosso processo de desenvolvimento de software é
fortemente baseado em testes.
− Em 2007 iremos implementar no LSD um modelo de
qualificação de software que será executado antes da
liberação pública de todo software produzido no LSD,
incluindo novas versões do OurGrid e, havendo
continuidade, novas versões do SegHidro.
Disponibilização do conteúdo:
A Rede SegHidro [1]
•
SegHidro
O site do projeto
− contém todo o software (código) desenvolvido no
projeto, com livre acesso
− contém documentação detalhada em língua portuguesa,
tanto da infra-estrutura de grade como das aplicações
− contém tutoriais, exemplos e dados para referência dos
usuários e desenvolvedores (também no portal)
− é um Wiki, que permite que todos compartilhem
informações
•
http://seghidro.lsd.ufcg.edu.br
Disponibilização do conteúdo:
A Rede SegHidro [2]
SegHidro
Provedores de dados
•
CPTEC: modelos atmosféricos global e regionais
•
UFCG Meteorologia: modelo atmosférico regional
•
FUNCEME: modelos atmosféricos regionais
•
AESA-PB: modelo atmosférico regional
•
EPAGRI-SC: modelo atmosférico regional
Disponibilização do conteúdo:
A Rede SegHidro [3]
Provedores de serviço
•
Portal UFCG Meteorologia
− http://portalseghidro.dca.ufcg.edu.br/
•
Portal Ifá (UFCG Recursos Hídricos)
− http://www.hidro.ufcg.edu.br/ifa/
•
Portal AESA-PB
− http://150.165.79.6:9000/portalseghidro/
•
Portal EMATER-PB
− http://www.hidro.ufcg.edu.br/emater/
•
Portal EPAGRI-SC
− http://200.18.5.94/portalseghidro/
SegHidro
Impactos do Projeto [1]
SegHidro
O SegHidro
•
É uma plataforma de compartilhamento de expertise,
dados e poder computacional
•
É uma alternativa ao modelo centralizado de (poucos)
produtores e (vários) consumidores de informação
•
Permite que cientistas e usuários integrem, validem e
refinem os seus modelos
•
Permite que os tomadores de decisão tenham acesso a
um grande número de modelos viabilizando a simulação
de múltiplos cenários
•
Aumenta a qualidade da informação para a tomada de
decisão
Impactos do Projeto [2]
SegHidro
O SegHidro
•
Viabiliza acesso a processamento, modelos e dados aos
pequenos centros operacionais e a grupos de pesquisa
emergentes, realizando inclusão digital e científica
•
Reduz a demanda por novos equipamentos,
particularmente de alto desempenho (clusters)
•
Evita a sobreposição de ações das equipes de TI dos
centros operacionais na integração de modelos e dados
•
Oferece, quando da implementação nos centros
operacionais, oportunidade de atualização técnica das
equipes de TI locais
Desafios Futuros [1]
•
SegHidro
Consolidação do SegHidro em produção nos centros
operacionais do Nordeste
− Continuidade do suporte e treinamento, de forma mais
dedicada
− Integração efetiva com os grupos de pesquisa
− Desenvolvimento, no portal, de ferramentas para
comunicação e colaboração entre os centros entre si, os
grupos de pesquisa e o CPTEC
− Este desafio requer capital humano especializado nas áreas
de grade e das aplicações
− Fundamental para que a tecnologia SegHidro sobreviva ao
fim do projeto
Desafios Futuros [2]
•
SegHidro
Adesão de novos membros à comunidade
− Núcleo de Modelagem Climática e Ambiental do MCT/INPA
− Centro de Informações e Recursos Ambientais de SC
(Ciram/EPAGRI)
− EMBRAPA Algodão
− Agência Nacional de Águas (ANA) e o Sistema Nacional de
Informações em Recursos Hídricos
− Redes cooperativas de pesquisa, em grande parte
fomentadas pelos fundos setoriais
−…
Desafios Futuros [3]
•
SegHidro
Desenvolvimento de novas aplicações
− Risco de desabastecimento de cisternas rurais – ABCMAC,
P1MC e MDS
− Bioinformática – EMBRAPA Informática Agropecuária
− Potencial eólico – FUNCEME
− Previsão de níveis do rio Negro em Manaus – CPRM
− Simulação de redes de abastecimento de água –
companhias de abastecimento de água
−…
Desafios Futuros [4]
•
SegHidro
Tecnologia de Grade
− Resolver a questão de consenso na terminologia dos dados
− Interoperabilidade com outros padrões de dados (por ex, do
Sistema Nacional de Informações em Recursos Hídricos)
− Interoperabilidade do OurGrid com outros softwares de
grade, como o Globus e o gLite
− Atender a novos desafios técnicos das ciências ambientais
− Buscador de dados OPeNDAP
• Busca em paralelo em vários servidores OPeNDAP
Executores
e Parceiros
SegHidro
CPTEC
LMRS/AESA
EMATER
Informática Agropecuária
Tabuleiros Costeiros
Financiador
MCT CT-INFO
http://seghidro.lsd.ufcg.edu.br