Projeto de Datacenters
Prof. Rafael Guimarães, PhD
[email protected]
Agenda
• Introdução aos datacenters
– O que são, desafios, tipos
•
•
•
•
•
•
Considerações de projeto
Áreas funcionais de um datacenter
Cabeamento horizontal e backbone
Organização de racks e refrigeração
Classificação de datacenters em tiers
Técnicas de identificação
– Racks, cabos, conexões
• Datacenter verde
O que é um datacenter?
• É uma edificação, ou parte de uma edificação,
cuja função primária é hospedar uma sala de
computadores e suas áreas de suporte.
– Hospeda equipamentos e dados de missão
crítica!
Desafios
• Desafios de um datacenter
–
–
–
–
Garantir disponibilidade de aplicações/sistemas (SLA)
Hospedar sistemas complexos e heterogêneos
Garantir níveis de serviço para tempo de resposta
Manipular grandes quantidade de dados (disponíveis e
backups)
– Manter conformidade com normas regulatórias e de
segurança
– Acompanhar alterações nos requisitos de negócio
– Aplicar práticas “verdes” e de redução de consumo de
energia
Tipos de datacenter
• Existem basicamente dois tipos:
– Datacenter corporativo
• Possuído e operado por corporações privadas,
institutos e órgãos governamentais
• Suportado por equipe de TI própria ou contratados
– Datacenter de Internet
• Possuído e operado por operadores de telecom e
provedores de serviços
• Provê terceirização de TI
Considerações de projeto
• Coordenação de todos os aspectos de projeto é
crítica:
–
–
–
–
–
–
–
Sistema de cabeamento de telecomunicações
Projeto de piso de equipamentos
Projetos elétricos
Projeto arquitetônico
Ar-condicionado
Segurança
Iluminação
Processo de projeto
• Processo de projeto recomendado:
– Estimar as necessidades dos equipamentos à
capacidade total
– Antecipar crescimento futuro do datacenter
– Prover todos os requisitos para arquitetos e
engenheiros
– Criar um projeto de piso de equipamentos
– Projetar sistema de cabeamento de
telecomunicações
Áreas funcionais
• 5 áreas funcionais propostas pela norma TIA942:
–
–
–
–
–
Sala de entrada (ER)
Área de distribuição principal (MDA)
Área de distribuição horizontal (HDA)
Área de distribuição de zona (ZDA) opcional
Área de distribuição para equipamentos (EDA)
• Idealmente salas separadas, o que não é
prático para maioria das organizações
– Pode ser consolidado em áreas pré-definidas
Áreas funcionais
Áreas funcionais
• Sala de entrada (ER)
– Demarcação de ponto de provimento de acesso
– Equipamento de terminação para cabos de
provedor de acesso
– Interface entre cabeamento do datacenter e
cabeamento do edifício
– Caminho para todos os cabos de entrada
– Pode ser localizada dentro ou fora da sala de
computadores
Áreas funcionais
• Área de distribuição principal (MDA)
–
–
–
–
Ponto central de distribuição
Inclui as conexões principais (MC)
Pode incluir conexões horizontais (HC)
Roteadores e switches núcleo para LAN/SAN e
PBX
– Localizado dentro da sala
de computadores
– Deve haver pelo menos
uma MDA
Áreas funcionais
• Área de distribuição horizontal (HDA)
– Suporta todo o cabeamento para a área de
distribuição de equipamentos
– Inclui as conexões horizontais (HC)
– Switches para os equipamentos
na EDA estão aqui
– Localizado dentro da sala de
computadores
– Mínimo de uma HAD por andar
Áreas funcionais
• Área de distribuição de zona (ZDA)
– Ponto de interconexão opcional com o
cabeamento horizontal
– Localizada entre HAD e EDA
– Permite reconfiguração frequente e flexibilidade
– Deve servir no máximo 288 conexões para evitar
congestionamento de cabos
– Não deve possuir nenhum equipamento ativo
Áreas funcionais
Áreas funcionais
• Zona de distribuição para equipamentos (EDA)
– Espaço para equipamentos – servidores,
mainframes, storage etc
– Cabeamento horizontal termina aqui em patch
panels
– Cabeamento ponto-a-ponto entre equipamentos
é permitido
Cabeamento horizontal
• Topologia de cabeamento horizontal
Cabeamento horizontal
• Cabeamento entre HAD e EDA incluindo cabos
horizontais, patch cords etc
Cabeamento backbone
Cabeamento backbone
• Cabeamento entre ER, MDA e HAD
• Deve permitir reconfigurações de rede e
crescimento futuro
Topologia reduzida
• Redução da topologia de datacenter
– Consolidação de ER, MDA e HDA
– Aplicável à maioria das empresas
Passagem de cabos
• O cabeamento do datacenter deve seguir a
norma ANSI/TIA-596-B
• Os cabos não deve passar por espaços públicos
a não ser quando protegidos por passagens
seguras
• Acessos para manutenção, caixas de junção e
caixas de distribuição devem ser trancadas e
monitoradas
Passagem de cabos
• Sala de entrada (ER)
– Cabos deve passar por baixo do piso (elevado)
– Cada provedor de acesso deve possuir ao menos
um conduíte de 4’’
– Deve seguir a norma ANSI/TIA-569-B
Passagem de cabos
• Por baixo do piso (elevado)
– Cabeamento por baixo do piso deve passar por calhas
ventiladas para evitar bloqueio do fluxo de ar
– Calhas devem ser instaladas em múltiplas camadas
– Mais barato do que cabeamento aéreo se o piso for
elevado
– Deve prover capacidade de crescimento
– Separar fibras de cabos de cobre e de cabos de energia
Passagem de cabos
• Cabeamento aéreo
– Calhas devem ser instaladas em múltiplas
camadas (3 camadas)
• Camada inferior: cabeamento de cobre
• Camada intermediária: fibra
• Camada superior: cabos de energia
– Calhas devem ser suportadas pelo teto
Racks
• Posicionamento de racks
– Corredor quente / corredor frio alternados
– Corredores frios são a frente e corredores
quentes a traseira dos racks
– Se houver piso elevado
• Cabos de energia passam pelos corredores frios
• Cabos de dados passam pelos corredores quentes
Refrigeração
• 9 soluções
Fonte: www.apcdistributors.com
– Cada solução tem
sua aplicação
ideal
Fonte: www.apcdistributors.com
Refrigeração para pisos fixos
Refrigeração para pisos fixos
Fonte: www.apcdistributors.com
Fonte: www.apcdistributors.com
Refrigeração para pisos elevados
Refrigeração para pisos elevados
Fonte: www.apcdistributors.com
Refrigeração
• Sistemas de condução de calor/frio por dutos
Tiers
• A norma TIA-942 define 4 tiers (“níveis”) para
datacenters:
– Relacionados com os níveis de disponibilidade
da infraestrutura
– As classificações de tiers foram definidas
originalmente pelo Uptime Institute
– Sistemas críticos podem ter diferentes
classificações
– Classificações podem cair à medida que a carga
do datacenter aumenta com o tempo
Tiers
• Tier I – Básico
– Caminho único para distribuição de energia e de
refrigeração
– Sem componentes redundantes
– Não necessita ter piso elevado
– Suscetível a interrupção devido a atividades
planejadas ou não planejadas
– 28,8h anuais fora do ar
Tiers
• Tier II – Componentes redundantes
– Caminho único para distribuição de energia e de
refrigeração
– Componentes redundantes
– Possui piso elevado
– Um pouco menos suscetível a interrupções do
que o Tier I
– 22,0h anuais fora do ar
Tiers
• Tier III – Manutenibilidade concorrente
– Múltiplos caminhos para distribuição de energia e
de refrigeração – apenas um caminho ativo
– Componentes redundantes
– Permite a realização de qualquer atividade
programada relacionada com infraestrutura sem
interrupção da operação
– 1,6h anuais fora do ar
Tiers
• Tier IV – Tolerante a falhas
– Múltiplos caminhos ativos para distribuição de
energia e de refrigeração
– Componentes redundantes
– Todos os componentes de hardware devem
possuir duas fontes de alimentação
– Suporta pelo menos uma falha ou evento não
programado que não cause impacto crítico
– 0,8h anuais fora do ar
Tiers
• Tier IV – Redundância de fornecimento de
energia
Tiers
Tier Características de negócio
Efeito no projeto do sistema
I
•Tipicamente empresas pequenas
•Presença online limitada
•Pequena dependência de TI
•Tempo fora do ar é tolerado
•Vários pontos únicos de falha
•Sem gerador se UPS suporta 8min
•Geralmente não suporta mais de 10min de falta
de energia
II
•Parte da receita se obtém online
•Múltiplos servidores
•Sistema de telefonia é vital
•Dependente de email
•Tolerante a paradas programadas
•Alguma redundância no fornecimento de energia
e sistema de refrigeração
•Gerador de backup
•Pode suportar 24h sem energia
•Sala de dados formal separada as outras áreas
III
•Presença global
•Maior parte da receita é obtida online
•Sistema telefônico VoIP
•Alta dependência de TI
•Alto custo por tempo parado
•Sistemas de energia e refrigeração redundantes
•Provedores de serviços redundantes
•Pode suportar 72h sem energia
•Permite manutenção concorrente
•Planejamento cuidadoso da escolha do local
IV
•Negócio de vários milhões
•Maioria da receita de transações
eletrônicas
•Modelo de negócios dependente de TI
•Custo extremamente alto por tempo parado
•2N sistemas de energia e refrigeração
•Pode suportar 96h sem energia
•Critério rígido de escolha do local
•Equipe de manutenção 24/7 no local
Identificação de setores
• O piso deve seguir a matriz do próprio
datacenter
• Use duas letras e dois dígitos numéricos para
cada pedaço de 60cm x 60cm do piso
– Ou cada módulo do piso elevado
– AA, AB, AC, …, AZ,
BA, BB, BC, …
– Similar à batalha naval
Identificação de setores
• Localização de um rack
– Se houver mais de um andar, colocar o número
de andar como
prefixo: 2AJ05
Identificação de patch panels
• Usar letras (A,B,C,...) de cima para baixo
Identificação de patch panels
• Conexões do patch panel
– Rack, seguido do patch panel seguido das portas
Identificação de patch panels
• Cabos e patch cords
– Devem possuir indicações de ambas as
terminações nas duas pontas do cabo
Datacenter verde
• Por muitos anos, questões ambientais foram
consideradas preocupações para poucos
• Para CEOs
– Consumo de energia e preocupações ambientais
assumem novo significado ao bloquear a
capacidade de crescimento da empresa
• Para CIOs
– Necessidade de encontrar
maneiras de ampliar a
capacidade das operações
para atender exigências do
negócio
Datacenter verde
• Custos de energia em ascensão
• Equipamentos de TI pressionando infraestrutura
de energia e resfriamento
– Crise operacional e econômica pode estar em
vias de acontecer
• Eficiência energética passa a integrar lista de
parâmetros operacionais junto com
disponibilidade, confiabilidade e desempenho.
• Transição para um datacenter verde e a
otimização da eficiência operacional podem ser
tarefas complexas
Datacenter verde
• Tornar-se verde é uma necessidade que as
empresas terão que incorporar o quanto antes
se quiserem sobreviver economicamente
• Desafios para os CIOs
– Surgimento de servidores mais rápidos,
dispositivos de armazenamento mais baratos e
equipamentos de rede mais flexíveis
• Demandam cada vez mais energia!
– Evolução dos servidores de alta densidade
(blades), aumentou densidade térmica
• Sobrecarregam sistemas de refrigeração
Datacenter verde
• Custos de eletricidade e refrigeração
representam até 44% do TCO de um datacenter
• Custo para fornecer energia e resfriar servidores
durante 3 anos é atualmente 1,5x maior do que
custo de compra de softwares para servidores
• O problema atual não é só pagar pelos
servidores, é ter verba para pagar pela energia
e resfriamento
• Algumas empresas não conseguem instalar
novos servidores pois não há energia adicional,
seja qual for o preço
Datacenter verde
• Demanda por energia para servidores duplicou
de 2000 para 2005
• Energia utilizada para servidores, resfriamento e
infraestrutura de apoio foi responsável por 1,2%
de todo o uso de eletricidade nos EUA neste
período
• Nos EUA diversas fornecedoras de energia
oferecem descontos em contrapartida a uma
maior eficiência energética por parte dos
consumidores
• Na Austrália, grandes consumidores devem
apresentar plano de avaliação e ação
Datacenter verde
• Para caminhar em direção a um datacenter verde:
–
–
–
–
Mudanças energéticas e de resfriamento
Virtualização
Hardware e software eficientes em termos de energia
Iniciativas de gerenciamento de energia e cargas de
trabalho
Datacenter verde
• Passos iniciais para datacenter verde
– Avaliação de melhores práticas
– Auditoria energética
• Certamente aparecerão inúmeras oportunidades para
melhoria da eficiência energética
– Grandes projetos de infraestrutura
• Upgrade de resfriadores
• Upgrade do sistema de UPS
– Melhorias simples e baratas
• Bloqueio de aberturas p/ cabos para impedir saída de ar frio
• Remoção de bloqueios de cabos sob o piso que impeçam
circulação de ar
• Desligamento de servidores sem carga de trabalho
• Desligamento de unidades de ar-condicionado em áreas
refrigeradas em excesso
Datacenter verde
• Aplicar enfoque modular no projeto futuro com
relação à energia e resfriamento
– Necessidades do negócio provavelmente irão
mudar ao longo do tempo
– Permitir fácil expansão ou modificação
Datacenter verde
• Melhorias no layout de racks e salas podem contribuir
com investimento inicial baixo
– Organizar equipamentos de TI em configuração de
corredor quente e corredor frio
– Posicionar equipamento de forma a tornar possível o
controle do fluxo de ar entre alas quentes e frias
• O ar quente não deve circular novamente pelas entradas de
resfriamento dos equipamentos de TI
– Utilizar opções complementares de resfriamento de baixo
custo – água ou outros refrigeradores
– Aumentar eficiência de resfriamento com trocadores de
calor de porta traseira ou sistemas de racks embutidos
para dissipar calor
Datacenter verde
• Estudos da IBM demonstraram que servidores
blade reduzem as necessidades de energia e
resfriamento em 25% a 40%
– Além da economia de espaço!
• Virtualização pode melhorar a eficiência
energética do datacenter
– Menos servidores são necessários
– Diferença de consumo/calor de entre servidores
utilizados 100% do tempo ou 15% é pequena
– Servidores sem uso podem ser desligados
Bibliografia
• ANIXTER. Datacenter Infrastructure Resource Guide.
Glenview: Anixter, 2008.
• CHALASANI, Sri. TIA-942: Data center standards. 2010.
• FURUKAWA. Guia de recomendação para um data
center. Curitiba: Furukawa, 2009.
• IBM. O Datacenter verde. Somers: IBM, 2007.
• TELECOMMUNICATIONS Industry Association.
TIA-942: Telecommunications Infrastructure Standard for
Data Centers. Arlington: TIA, 2005.
• http://www.fiberoptics4sale.com/wordpress/cabling-adata-center-to-tia-942-standard/