Campanhas de Infraestrutura
Básica
Computação de Alta Produtividade:
Windows HPC Server 2008
11 de Junho de 2009
Fatores Comerciais da HPC
Vantagens Competitivas
Pressão para aperfeiçoar o
desempenho operacional (custo,
qualidade e comercialização)
Conformidade regulatória voltada para a
qualidade
Ciclos rápidos de inovação de
produtos
TI – Mais Importante do Que Nunca
Protegendo os ativos
Gerenciando sistemas
Reduzindo custos
Desenvolvendo novos
aplics
Permitindo a
interoperabilidade
Mantendo os aplics herdados
Garantindo a conformidade
80%
Promovendo a produtividade
dos profissionais
MANUTENÇÃO
20%
INOVAÇÕES
Computação de Alta Produtividade
Infraestrutura combinada
Ambiente integrado de
desktop e HPC
Ambiente de desenvolvimento
unificado
Data centers de TI e
mesclagem com o HPC,
gerenciamento
simplificado de clusters
Usuários com amplo
acesso a múltiplos
núcleos e servidores
Desenvolvimento
paralelo simplificado
Operações por segundo por código de
série
para os softwares
tradicionais
Almoço Grátis
Não Há Mais “Almoço Grátis” Para
os Softwares Tradicionais
24 GHz
1
Núcleo
12 GHz
1
Núcleo
3 GHz
3 GHz
3 GHz
6 GHz
2
4 Núcleos
8 Núcleos
1
Núcleos
Núcleo
3 GHz
1 Núcleo 3
GHz
1 Núcleo
Operações adicionais por segundo caso o código aproveite a simultaneidade
Não Há Almoço Grátis para os softwares tradicionais
(Sem um software com alta simultaneidade não há velocidade!)
Por que Microsoft e HPC?
Problemas Atuais
 Fusão dos data centers de TI e HPC: gerenciamento isolado de clusters
 Desenvolvedores têm dificuldades para programar paralelismo
 Usuários não possuem amplo acesso ao aumento do processamento de
núcleos e dados
Como a Microsoft pode ajudar?
 Está bem posicionada para a integração tradicional do paralelismo de
aplicações
 Já iniciou um amplo paralelismo para a comunidade de desenvolvedores
 Pode aumentar o valor do HPC através da integração de ferramentas de
produtividade e gerenciamento
Investimentos da Microsoft em HPC
Portfolio abrangente de software: Cliente, Servidor, Gerenciamento,
Desenvolvimento e Colaboração
Equipes dedicadas que se concentram na Computação de Clusters
Desenvolvimento Paralelo Unificado através da Parallel Computing
Initiative
Visão da Microsoft Para HPC
“Fornecer a plataforma, as ferramentas e um amplo ecossistema para reduzir a
complexidade do HPC, através de um paralelismo mais acessível, que atenda às
futuras necessidades da computação.”
Complexidade Reduzida
HPC Tradicional
Ecossistema de
Desenvolvedor
Facilitar a implantação em
clusters de maior escala
Atender às necessidades da
supercomputação tradicional
Aumentar o número de aplicações e
códigos paralelos
Simplificar o gerenciamento em
clusters de qualquer escala
Administrar as tendências emergentes
da computação entre empresas
Oferecer opções de ferramentas de
desenvolvimento,
linguagens e bibliotecas paralelas
Fazer a integração com a
infraestrutura existente
Habilitar usuários não técnicos a tirar
proveito da potência do HPC
Gerenciar um universo maior de
desenvolvedores e ISVs
Familia de Servidores Windows
Editions
Ofertas do Windows HPC Server 2008
Turnkey Básica
•
•
Soluções Turnkey de
até 1000 nós
HPC Pack
•
•
•
•
Gerenciamento Corporativo
Alta Disponibilidade
•
•
Gerenciamento
Implantação
Plano de Trabalho
Pacotes terceirizados
para diretivas e planos
de trabalho avançados
SQL Server 2008
Express
•
•
Não há ponto único
de falha
Windows Server
2008 Enterprise para
alta disponibilidade
do nó principal
SQL Server 2008
Enterprise de alta
disponibilidade
•
Systems Center
Configurations Manager
Systems Center
Operations Manager
SQL Server 2008
Standard
Tercei
ro
HPC Pack
SQL Server 2008
Standard
Tercei
ro
Tercei
ro
HPC Pack
Windows HPC Server 2008
Dimensionamento para
milhares de nós
System Center
Operations Manager
para monitoramento
avançado
Windows HPC
Server 2008
Núcleo do Windows Server 2008
HPC Pack
Windows
Server 2008
Enterprise
Windows HPC
Server 2008
•
•
Windows
Server 2008
Enterprise
Pequena marca superficial/Sem IU/CLI
HyperV
O Que Há de Novo no Windows HPC Server 2008?
 Suporte para SOA e WCF
 Nova IU no System Center
 Planejamento granular de recursos
 Escalabilidade avançada para
clusters maiores
 Novas diretivas de plano de trabalho
Interoperabilidade através do Perfil
HPC
 PowerShell para Gerenciamento de CLI
Alta Disponibilidade para Nós Principais
Serviços de Implantação do Windows
Diagnósticos/Relatórios
Suporte para o Operations Manager
Gerenciamento
de Sistemas
Plano de
Trabalho
Rede
& MPI
Armazenamento
 NetworkDirect (RDMA) para MPI
 Assistente de Configuração de Rede
Avançado
 Memória Compartilhada MS-MPI para
multinúcleos
 MS-MPI integrado ao Rastreamento
de Eventos para o Windows
 iSCSI SAN & suporte avançado para
sistemas de arquivos paralelos no
Win2008
 Aprimoramento do Server Message
Block (SMB v2)
 Novo suporte de sistemas de
arquivos paralelos terceirizados para o
Windows
 Novos fornecedores de cache de
memória
Windows HPC Server 2008
Ready for Prime-time
Location
Hardware – Machines
Shanghai, China
Dawning system with
1,920 quad-socket,
quad-core AMD
Barcelona 1.9GHz
processors
Hardware – Networking
Voltaire Infinband
Switch, Mellanox
ConnectX MT25408
Number of Compute Nodes 1920
Total Number of Cores
30,720 cores
Total Memory
Particulars of for current
Linpack Runs
Best Linpack rating
Best cluster efficiency
120 terabytes
180.6 TFPs
77.5%
# 10
Fall 2008
Top500
Fastest Chinese
Supercomputer
Maior Eficiência na Administração de Sistemas
•Simples de configurar e gerenciar dentro de um ambiente familiar
•
•
Soluções para turnkeys de clusters por meio de OEMs
•
Implantação simplificada de sistemas e aplicações
•
Imagens, patches, drivers e aplicações de base
Foco na facilidade de gerenciamento
–
–
–
•
Escalabilidade Vertical
–
–
–
–
•
Diagnósticos, resolução de problemas e
monitoramento abrangentes
Interface de gerenciamento conhecida, flexível e
“pivotal”
Suporte de linha de comando equivalente para
gerenciamento autônomo
Implantação , administração e infraestrutura de
escala
Failover de nó principal
Relatórios sobre o uso de clusters
Filtragem de nós de computação
Melhor integração com o gerenciamento
empresarial
–
–
–
–
Gerenciamento de Patches
System Center Operations Management
PowerShell
Serviços de Alta Disponibilidade do Windows 2008
System Center Para HPC
Um ambiente HPC mais produtivo
• Relatórios pré-configurados para monitoramento pela perspectiva do
usuário final
• Análises e relatórios de logs de segurança
Monitoramento Escalonável
• Aplicações de monitoramento executadas em ambiente distribuído de
escalabilidade horizontal
• Dimensionamento por meio de servidores de gerenciamento em
camadas
• Monitoramento sem agente
Maior Eficiência e Controle
• Projeto mais seguro
• Integração com o Active Directory
• Solução estendida com os Pacotes de Gerenciamento
Alta Disponibilidade do Nó Principal
Elimina ponto único de falha com suporte para alta disponibilidade
Requer os Serviços de Cluster de Failover do Windows Server 2008 Enterprise
•
Última geração em serviços de cluster
•
Grande avanço no gerenciamento e
validação de configurações
Rede Privada
O HPC Pack Inclui
•
Integração da configuração com os
Serviços de Cluster de Failover
•
Configuração de Nó Principal e Nó de
Failover com o Cluster de Failover do
SQL
•
Failover de serviços do Plano de
Trabalho
•
Console de gerenciamento conectado
ao console de Gerenciamento de
Failover do Windows Server
Windows
Failover
Clustered
Nó Principal
Win2008 Enterprise
Clustered SQL
Server
Nó Principal de
Failover
Win2008 Enterprise
Clustered SQL
Server
Disco
Compartilhado
NetworkDirect
Uma nova interface de rede RDMA criada para oferecer
velocidade e estabilidade
Modo Kernel
Modo
• Comparável a pilhas MPI otimizadas por hardware
• Foco na Solução Exclusiva para MPI na versão
2
• Design baseado em verbos para adaptação com
interfaces de rede nativas de alto desempenho
• Coordenação com planos a longo prazo das equipes
de rede do Windows
Usuário
Aplicação
baseada em
soquete
Aplicação MPI
MS-MPI
Soquetes Windows
(Winsock + WSD)
Implementação
•MS-MPIv2 com capacidade para 4 caminhos de
rede:
•
Memória Compartilhada entre processadores de uma
placa-mãe
•
Pilha TCP/IP (Ethernet “normal”)
•
Winsock Direct (e SDP) para RDMA baseada em
soquetes
•
Nova interface de rede RDMA
Rede RDMA
Provedorde
Hardware
Hardware
Hardware
Hardware
de
Provedorde
Direto
Rede
deRede
Rede
Rede
NetworkDirect
WinSock
CamadaHardware
de Acessode
Modo
RedeUsuário
TCP/Ethernet
Networking
TCP
Atalho Kernel
Prioridades
IP
NDIS
Hardware
de
Hardware
Driver Minide
Rede
portas
Rede
• Parceiros da equipe de HPC com IHVs de rede
para desenvolver/distribuir drivers para esta nova
interface
Hardware
de
Driver
Hardware
de Hardware
de Rede
Rede
Hardware de Rede
Aplicação
(ISV)
Componente
CCP
Componente
SO
Componente
IHV
Agendamento de Trabalho
•
Forneça Suporte a Clusters Maiores
–
–
–
•
Melhore a interoperabilidade com a
infraestrutura de TI existente
–
–
•
Interoperabilidade com planos de trabalho
existentes
I/O de arquivo de alta velocidade, através
de suporte nativo para sistemas de arquivos
paralelos e de clusters
Amplie o Suporte às Aplicações
–
–
•
Crie novos designs para clusters de
tamanho, inclusive clusters
“heterogêneos”
Dimensione as tecnologias de implantação
e administração
Forneça interfaces para os usuários
acostumados ao *nix
Simplifique a integração de novas
aplicações com o plano de trabalho
Atenda às necessidades dos
desenvolvedores internos e de código
aberto
Suporte de Plataforma
–
–
Projetado para o Windows Server 2008
Nós de clusters com hardware / software
diferentes
Cenário: Maior Suporte às Aplicações
V1 (foco em trabalhos em lotes)
Aplicações de
Engenharia
Aplicações de
Óleo & Gás
Análise
Estrutural
Simulação de
Choque
Simulação de
Reservatório
Processamento
Sísmico
V2 (foco em trabalhos interativos)
Aplicações de
Ciências
Naturais
Análise Estrutural
Simulação de
Choque
Distribuição de Recursos
Ínicio do Processo
Rastreamento do Uso de Recursos
Execução de MPI Integrada
Segurança Integrada
App.exe
App.exe
Excel
Análise de
Portfolio
Análise de Risco
Conformidade
Real
Modelage
m de
Preços
Aplicações de
Cluster
Interativos
Suas Aplicações
Aqui
Roteador de Serviços WCF
Plano de Trabalho
App.exe
Serviços
Financeiros
App.exe
+
Referência de Ponto de Extremidade Virtual
WS
Balanceamento da Carga de Pedidos
Ativação do Serviço Integrado
Gerenciamento da Duração do Serviço
Rastreamento Integrado do WCF
Serviço
(DLL)
Serviço
(DLL)
Serviço
(DLL)
Serviço
(DLL)
Agendamento Orientado a Serviços
Rede Pública
Nó Principal de Alta
Disponibilidade
Rede Privada
1. O usuário envia
o trabalho.
Estação de
Trabalho
3. HN fornece nó
de Agente WCF
Nó
Principal
Nó
Principal
de
Failover
2. O Gerenciador da
Sessão designa o nó
de Agente WCF para
o trabalho do cliente
Estação de
Trabalho
5. Pedidos
4. O cliente conecta-se ao
Agente e envia os pedidos
6. Respostas
7. As respostas retornam
ao cliente
[…]
Nós de
Computação
Estação de
Trabalho
Agentes WCF
Interoperabilidade e Open Grid Forum
O que é ?
Qual é o seu valor?
Qual é o Status?
• Um plano padrão de interoperabilidade
OGSA (Open Grid Services Architectures)
para o envio e gerenciamento de tarefas
do agendador de trabalhos em lotes
• Baseado em padrões de serviços web
(HTTP, XML, SOAP)
• Permite a integração de aplicações HPC
executadas em diferentes plataformas e
agendadores por meio de padrões de
serviços web
• Terminou o período de teste de público
• Está trabalhando em novas extensões
LSF / PBS / SGE / Condor
Linux, AIX, Solaris
HPUX, Windows
Windows Cluster
Windows Center
Windows Center
Clientes
“É importante que nosso ambiente de TI seja fácil de usar e forneça suporte.
O Windows HPC está melhorando nosso desempenho e capacidade de
gerenciamento. ”
-- Dr. J.S. Hurley, Gerente Senior da Head Distributed Computing - Networked
Systems Technology da Boeing Company
“A Ferrari está sempre buscando as soluções tecnológicas mais avançadas e,
naturalmente, o mesmo se aplica em relação ao software e à engenharia. Para atingir
índices líderes de potência por peso, redução do tempo de troca de marchas e uma
aerodinâmica revolucionária, nós confiamos no Windows HPC Server 2008. Ele
oferece uma plataforma de computação rápida, conhecida e de alto desempenho
para nossos usuários, engenheiros e administradores.”
-- Antonio Calabrese, Diretor de Sistemas de Informação da Ferrari
“Nosso objetivo é expandir a disponibilidade do HPC para um público que vai além
dos usuários avançados. Nós acreditamos que o Windows HPC tornará o HPC
acessível a mais pessoas, como engenheiros, cientistas, analistas financeiros e
outros, que nos auxiliarão a projetar e testar mais rapidamente nossos produtos e
reduzir os custos.”
-- Kevin Wilson, Arquiteto de HPC da Procter & Gamble
Clientes
“O cluster Umeå com o Windows HPC Server 2008 obteve um bom
desempenho e tornou-se o sistema acadêmico mais rápido da Suécia.
Estamos muito felizes com o resultado.”
-- Bo Kågström, Professor e Diretor do Centro de Computação de Alto
Desempenho da Universidade North Umeå
“Os analistas financeiros da Europa utilizam principalmente os sistemas
Windows. Assim, a implantação de um cluster do Windows HPC Server
2008 torna nossos serviços de HPC extremamente atraentes para uma
base de usuários de grande potencial.”
-- Dr. M. Rosati, Gerente do Computational Materials Science and Finance
Group, CASPUR
“Nós estamos realmente impressionados com muitos dos novos
recursos do Windows HPC Server 2008. A Microsoft não está há muito
tempo no mercado de HPC , porém este produto já se mostra muito
sólido.”
-- Christian Terboven, Diretor de Projeto de HPC para Windows do Centro de
Computação e Comunicação da RWTH Aachen University
Parceiros Focados na Indústria
Microsoft HPC no Futuro
Parallel Extensions
Futures
Supercomputação
Pessoal





Microsoft ingressa no HPC
Computação Técnica Pessoal e de
Grupos de Trabalho
Aplicações de usuário final
disponíveis no Windows
Ferramentas de Desenvolvimento
Paralelas e de HPC
Facilidade de Implantação e
Gerenciamento
HPC de Longo Alcance





Suporte para HPC Tradicional e
HPC Emergente
Suporte Maior para Clusters &
Alcance do Top500
Maior Acessibilidade para Usuários
do Windows
Suporte mais amplo para
Desenvolvedores, com ferramentas e
SOA
Implantação e Gerenciamento
Avançados
Paralelismo Perfeito






Computação Paralela em Todo Lugar
Escala Ultra/Computação em Nuvens
Acesso de Usuário Transparente
Paralelismo implícito para
Desenvolvedores .NET
Cargas de Trabalho Dinâmicas e
Virtualizadas
Gerenciamento Principal de HPC e
Infraestrutura de TI
© 2008 Microsoft Corporation. Todos os direitos reservados. Microsoft, Windows, Windows Vista e outros nomes de produtos
são ou podem ser marcas registradas ou marcas comerciais nos EUA e/ou outros países. As informações contidas neste são
apenas para fins informativos e representam a posição atual da Microsoft Corporation na data de sua publicação.Como a
Microsoft deve responder às condições de mudança de mercado, as informações não devem ser interpretadas como um
compromisso por parte da Microsoft, sendo que a Microsoft não pode garantir a precisão de qualquer informação apresentada
após a data de publicação. A MICROSOFT NÃO FORNECE QUAISQUER GARANTIAS, EXPLÍCITAS, IMPLÍCITAS OU POR LEI, EM
RELAÇÃO ÀS INFORMAÇÕES CONTIDAS NESTE DOCUMENTO.