Engenharia Gerencial HTTP://WWW.cspi.com.br Projetos, Consultoria e Gestão de Instalações Elétricas [email protected] Power Premium Solutions Eng. José Luiz De Martini tel (11) 4192 2935 fax (11) 4192 3241 cel.(11) 8445 5453 ________________________________________________________________________________________________ Infra-estrutura para Data Centres Planejando Data Centres de Alto Desempenho. Eng. Eletricista José Luiz De Martini Consultor especializado no planejamento e desenvolvimento de soluções de infra-estrutura de alta eficiência, disponibilidade e confiabilidade para aplicações de missão critica. Engenheiro Eletricista, titular da Engenharia Gerencial SS Ltda e consultor na área de Instalações Elétricas consumidoras de energia, com atuação em grandes centros comerciais e infra-estrutura de suprimento de energia para sistemas de missão critica, processamento e armazenamento de dados e telecomunicações. Colaboradores: Eng. Mecânico Eduardo P. Teixeira Grecco Consultor e projetista especializado em sistemas de ar condicionado, ventilação e exaustão, com grande atuação no segmento de planejamento e desenvolvimento de soluções de infra-estrutura de alta eficiência, disponibilidade e confiabilidade para aplicações de missão critica, telecomunicações e processamento e armazenamento de dados. Engenheiro Mecânico, sócio-diretor da Contractors Engenheiros Associados. Arquiteta Rosely Botti Projetista especializada em projeto e desenvolvimento de soluções arquitetônicas para aplicações de missão critica. Arquiteta Diretora da Orbi Projetos e Soluções. Página 1 Engenharia Gerencial HTTP://WWW.cspi.com.br Projetos, Consultoria e Gestão de Instalações Elétricas [email protected] Power Premium Solutions Eng. José Luiz De Martini tel (11) 4192 2935 fax (11) 4192 3241 cel.(11) 8445 5453 ________________________________________________________________________________________________ Apresentação. Este trabalho, dividido em quatro partes, destina-se aos profissionais da Tecnologia de Informação e de Facilities e a todos que tem como objetivo estabelecer formas de implantação e operação de Infra-estrutura destinada ao suporte de operações de missão critica, em especial centros de dados. Na primeira parte apresentamos de forma introdutória os elementos que devem ser considerados no planejamento de data Centres, desde as boas praticas na área da Tecnologia da Informação, planejamento de espaços e meios de refrigeração, com os impactos provocados na demanda e consumo de energia. De forma inédita são consideradas exigências para data centres verdes “Green IT” e que devam seguir Códigos de Conduta como o definido pela União Européia. Na segunda são apresentados os conceitos e soluções que garantam as tradicionais exigências quanto à disponibilidade e confiabilidade e implantadas soluções de elevada eficiência energética, incluindo demandas de alta densidade de energia. Na terceira, trabalho elaborado pelo Eng. Eduardo Grecco, apresentando novas tecnologias e soluções para climatização, e na seqüência aspectos arquitetônicos para que os projetos possam comportar não só as áreas especificas de produção, mas sim o conjunto total das instalações e sistemas, com a colaboração da Arqta Rosely Botti Página 2 Engenharia Gerencial HTTP://WWW.cspi.com.br Projetos, Consultoria e Gestão de Instalações Elétricas [email protected] Power Premium Solutions Eng. José Luiz De Martini tel (11) 4192 2935 fax (11) 4192 3241 cel.(11) 8445 5453 ________________________________________________________________________________________________ Parte 1: Planejando Data Centres de Alto Desempenho. Nos últimos dois anos houve uma significativa mudança nas preocupações dos responsáveis pelas áreas de TI em infra-estrutura onde a eficiência energética passou a fazer parte dos fatores preponderantes no planejamento e implantação de estruturas físicas. De fato, se em maio de 2005 o Data Center Users’ Group® identificava as seguintes preocupações em pesquisa perante profissionais da área de TI: - Aquecimento e densidade de energia: 78% - Disponibilidade: 57% - Limitações de espaço: 39% Em 2007 a mesma pesquisa aponta como preocupações principais: - Aquecimento: 64% - Densidade de energia: 55% - Eficiência energética: 39% - Disponibilidade: 33% - Limitações de espaço: 29% Esta nova visão é plenamente explicável por uma serie de fatores: - O volume de processamento cresce e assim a participação dos equipamentos de TI no perfil de consumo de energia das empresas idem, tornando-o significativo. - As soluções de alta densidade, como blades e pizza-box (1 U) estão cada vez mais presentes. - A relação entre o investimento inicial e o custo operacional (Capex / Opex) fica muito próxima ao longo de 5 a 10 anos. - As empresas estão engajadas em ações de sustentabilidade e eficiência energética. No Brasil a ComputerWorld avaliou que menos de 1% dos profissionais da área identificam espontaneamente esta necessidade. Na Europa o Centro de Pesquisa Conjunta da Comissão Européia publicou em novembro de 2008 a primeira versão do Código de Conduta para Eficiência Energética para Data Center. Página 3 Engenharia Gerencial HTTP://WWW.cspi.com.br Projetos, Consultoria e Gestão de Instalações Elétricas [email protected] Power Premium Solutions Eng. José Luiz De Martini tel (11) 4192 2935 fax (11) 4192 3241 cel.(11) 8445 5453 ________________________________________________________________________________________________ Atender a estes requisitos em projetos de infra-estrutura significa que um DC: - Deve ser confiável com disponibilidade adequada ao tipo de operação (24x7 ou 8x5). - Deve possuir capacidade (elétrica e climatização) de forma escalável, permitindo crescimento gradual, sem ociosidade que acarrete em prejuízo financeiro e baixa eficiência energética. - As soluções devem ser determinadas com foco na eficiência energética. Mas o que é um Data Center eficiente ? Esta resposta não é fácil de ser colocada como um índice ou referencia matemática, mas resultado da combinação de aplicação de um conjunto de medidas que partem do planejamento da produção em si. O ponto inicial deveria ser a consolidação das aplicações e planejamento operacional de TI, que não será objeto deste nosso estudo. Podemos enumerar algumas boas praticas que conduzem a uma significativa redução de investimentos e custos operacionais. Como são aplicados em cascata resultam ao final da cadeia em reduções que são absorvidas com efetivo retorno dos recursos aplicados. O importante é termos a consciência que estas medidas representam a médio e longo prazo redução de custos e, portanto são sempre viáveis. Ou seja, a diferença não esta em gastar mais ou menos, mas sim em fazer certo ou errado. Os responsáveis por TI podem adotar as seguintes providencias com redução de custos com energia: Procedimento Especificar e adquirir processadores de baixo consumo Especificar e adquirir servidores com fontes de alta eficiência Ativar os recursos de “Power Management” dos computadores Virtualização de servidores. Estudos mostram que 20% de virtualização pode resultar em 8% de redução de consumo de energia Utilizar soluções de menor espaço, como blade servers Planejar o arranjo em corredores quentes e frios evitando a mistura de ar quente/frio Utilizar condicionadores de capacidade e vazão variável Adotar alimentação 220 V~ 240 V, com UPS em 380~400 V, sem transformador Red. % 10 11 8 8 1 1 4 2 Agindo em cascata, estas ações podem resultar em praticamente 50% de redução de consumo de energia na área de produção, quando comparado a um Data Center padrão. Página 4 Engenharia Gerencial HTTP://WWW.cspi.com.br Projetos, Consultoria e Gestão de Instalações Elétricas [email protected] Power Premium Solutions Eng. José Luiz De Martini tel (11) 4192 2935 fax (11) 4192 3241 cel.(11) 8445 5453 ________________________________________________________________________________________________ Se estivermos planejando um novo Data Center ou mesmo uma ampliação e pudermos considerar estas providencias isto resultará nos seguintes benefícios: - Redução do espaço de produção em até 65%. - Redução da demanda de refrigeração em até 34% - Redução da demanda de energia (UPS) em até 33% - Redução da capacidade elétrica total (entrada e geradores) em até 47% Estes números referem-se exclusivamente as necessidades finais de produção. Na seleção da configuração da infra-estrutura são aplicáveis outras providencias quanto ao projeto, opção de equipamentos e insumos energéticos. Observem que sistemas redundantes são consumidores de energia, função da baixa eficiência dos equipamentos a meia carga. As soluções neste caso são: - Avaliar a disponibilidade exigida (24 x 7 ou 8 x 5). - Considerar a contratação de serviços de hosting para aplicações sazonais ou que não sejam parte fundamental do core business. - Questionar a configuração do modelo de redundância, por exemplo, 2 N, redundante centralizado ou 1,5N, redundante distribuído, pois este utiliza menos equipamento, operando com maior eficiência e menores custos de manutenção. - Selecionar os equipamentos (UPS e ar condicionado) com elevada eficiência a meia carga. Existe um índice de referencia de eficiência energética, conhecido como PUE, ou Power Utilization Effectiveness. Este relaciona a energia efetivamente consumida nos processos de TI com a energia total consumida. Definido pelo The Uptime Institute tem como envoltória o valor 2, ou seja para cada W usado no produção outro W é agregado na entrada de energia. Bons projetos, desde o inicio da década, já atingem aqui no Brasil, valores da ordem de 1.6, porém melhorando as soluções, principalmente climatização é possível obter melhor índice. Notem que a redução de espaço e o maior adensamento de equipamentos (blades, por exemplo) é o ponto de partida, porém a alta densidade enseja soluções de extrema eficiência e inovadoras de refrigeração. Na America do Norte mais de 11% dos novos servidores são blades, na Europa 9% e na América Latina menos que 6%. Para um universo de 300.000 servidores (AL) ao ano apenas 20.000 seriam blades. Podemos reduzir com projeto adequado e criteriosa escolha quanto à configuração e seleção de componentes em cerca de 10% o consumo de energia, evitando perdas de transformação e conversão de energia, a ser visto na segunda parte deste trabalho. Página 5 Engenharia Gerencial HTTP://WWW.cspi.com.br Projetos, Consultoria e Gestão de Instalações Elétricas [email protected] Power Premium Solutions Eng. José Luiz De Martini tel (11) 4192 2935 fax (11) 4192 3241 cel.(11) 8445 5453 ________________________________________________________________________________________________ Parte 2: Instalações Elétricas - Data Centres de Alto Desempenho. Vimos anteriormente que a preocupação com eficiência energética começa ser objeto de decisão nos projetos, porém haveria certa contraposição entre eficiência energética e disponibilidade ou confiabilidade ? Se de fato a demanda por serviços com continuidade assegurada é básica, portanto compor soluções que sem reduzir a disponibilidade signifiquem menores perdas com energia é o alvo obrigatório de novos projetos. Praticando soluções deste tipo podemos reduzir o CAPEX e OPEX em pelo menos 30%. Vejam neste gráfico o resultado obtido pelo Google em seus mais recentes Data Centres. O uso de servidores adequados permite reduzir o consumo de energia nos equipamentos de TI (cor laranja). Soluções gerais de projeto reduzem o consumo total de energia do Data Center, sobre um data Center padrão. Estimam em mais de 30% por ano por servidor o ganho com estas medidas. Podemos atingir este objetivo com a adoção de praticas de planejamento de ações da área de TI e seguir com os projetos de construção e instalações sempre analisando eficiência energética em cada decisão. A tabela a seguir resume as exigências referenciadas pelo The Uptime Institute® e EIA/TIA 942 – Anexo G e deve ser avaliada quanto a real necessidade de suporte a missão critica. Página 6 Engenharia Gerencial HTTP://WWW.cspi.com.br Projetos, Consultoria e Gestão de Instalações Elétricas [email protected] Power Premium Solutions Eng. José Luiz De Martini tel (11) 4192 2935 fax (11) 4192 3241 cel.(11) 8445 5453 ________________________________________________________________________________________________ Nível 1 2 3 Condição - Podemos programar paradas de manutenção. - Não há prejuízos reais em paradas intempestivas - Podemos programar parada de manutenção anualmente. - Os custos são ponderáveis em caso de parada intempestiva - Não podemos programar paradas para manutenção. - Os prejuízos em caso de interrupções são imponderáveis Exigência ou Solução - Fontes singelas. - Vias simples de alimentação - Fontes singelas redundantes. - Vias simples de alimentação - Fontes redundantes (uma ativa e uma alternativa) ou (duas ativas – Tier IV). - Vias alternativas de alimentação. Portanto quando as condições permitem paradas para manutenção e custo ponderável no caso de paradas intempestivas um projeto nível 2, pode ser adequado. Lembrando que se a Disponibilidade é definida pelo desenho do projeto a Confiabilidade leva em conta muito outros aspectos, que vão da seleção dos componentes, testes e comissionamento, manutenção e operação. Os DC que se apresentem com PUE abaixo de 1,3 são de Nível 2, porém garantidos por conta de projeto, execução, comissionamento e operação de alta qualidade. O índice PUE é a relação entre a Energia Consumida Total (Refrigeração, Serviços Prediais e Equipamentos de TI) / Energia Útil (equipamentos de TI). A energia total inclui as perdas com transporte de energia (condutores), transformação e rendimento dos UPS, incluindo a correspondente refrigeração. Se um determinado UPS operando próximo a 80% de sua capacidade possuir rendimento em torno de 95%, terá em torno de 92% quando com 40% de carregamento. O mesmo ocorre com transformadores, assim o resultado para um sistema de tipo 3 terá computo de 7% a 9% com perdas no sistema elétrico. Página 7 Engenharia Gerencial HTTP://WWW.cspi.com.br Projetos, Consultoria e Gestão de Instalações Elétricas [email protected] Power Premium Solutions Eng. José Luiz De Martini tel (11) 4192 2935 fax (11) 4192 3241 cel.(11) 8445 5453 ________________________________________________________________________________________________ Em termos de custo tabelando em valores presentes esta condição e adotando um Data Center com demanda de energia ininterrupta de 900 kW e solução adequada de climatização, com demanda total de ~ 1500 kW, teremos, para um Tier 3, redundante centralizado: Tier 3 Sistema elétrico Energia (10 anos) Custo mensal por rack Base R$ 14,3 mil / kW 90 000 MWh Custo total (10 anos) 10 kW/rack – 90 racks Investimento / Opex R$ 21.450.000,00 R$ 28.500,000,00 R$ 49.950.000,00 R$ 4.625,00 Se em uma condição melhorada em relação ao desenho da solução de disponibilidade e adequada escolha dos componentes reduzirmos em 30% as perdas teríamos uma redução de até 2,5% neste montante, ou seja, R$ 712 mil, sem perda quanto à disponibilidade desejada. Considerando, portanto apenas o ganho em relação a perdas de transformação, condicionamento e transporte de energia teríamos para um Tier 3, redundante distribuído: Tier 3 Sistema elétrico Energia (10 anos) Custo mensal por rack Base R$ 11.5 mil / kW Redução de 2,5% Custo total (10 anos) 10 kW/rack – 90 racks Investimento / Opex R$ 17.250.000,00 R$ 27.788.000,00 R$ 45.038.000,00 R$ 4.170,00 - Crescimento modular. Se as tecnologias de TI evoluem rapidamente, um prédio para Data Center deve ser projetado para pelo menos 20 anos de vida útil. A solução é crescimento modular, seja em área construída e equipada quanto na filosofia dos sistemas, pois as exigências mudam. Na virada do século tínhamos racks com servidores tipo torre (2~3 kW/rack), depois os 1U (6~8 kW/rack, agora blades (15~18 kW/rack) e supermaquinas com até 60~80 kW/Rack. O projeto ideal deve considerar implantação passo a passo, como por exemplo, data centres segmentados permitindo economia inicial e operacional. - Configuração 2N Redundante centralizado ou 1,5 N, redundante distribuído. O modelo convencional para exigências de Tier III ou IV preconiza que todos os sistemas devem ser alimentados por duas fontes ativas. Para demandas até 1.000 kW, a solução com dois sistemas independentes e fontes duplas é a solução padrão. Esta solução é conhecida como 2N, e exige a duplicação de todos os elementos que compõe o sistema elétrico exigindo investimento e custeio das perdas por baixa eficiência e meia carga. Página 8 Engenharia Gerencial HTTP://WWW.cspi.com.br Projetos, Consultoria e Gestão de Instalações Elétricas [email protected] Power Premium Solutions Eng. José Luiz De Martini tel (11) 4192 2935 fax (11) 4192 3241 cel.(11) 8445 5453 ________________________________________________________________________________________________ Na condição dos circuitos terminais os servidores teriam seus dois cordões de alimentação ligados as fontes A e B, e para cargas singelas, o uso de chaves de comutação estática. Hoje são comuns projetos de Data Centres com demanda acima de 10.000 kW e para projetos acima de 1.000 kW este modelo tem dois agravantes: - Investimento inicial muito alto. - Perdas significativas de energia com cada ramo carregado na faixa entre 40 a 45% da potencia nominal. Uma solução praticada para reduzir este impacto esta no modelo 1,5 N, conhecido por alguns como tri-bus, ou seja, três barramentos ou sistemas, com redundância distribuída. Cada barramento é projetado para operar e regime com até 2/3 da capacidade e com a adequada distribuição das cargas. Quais os benefícios: - Menor investimento sendo instalada 1,5 vezes a demanda requerida contra 2 vezes no modelo convencional. - Melhor rendimento, com equipamentos trabalhando entre 60 a 65% da capacidade nominal. - Mesmo índice de disponibilidade, obtido no modelo redundante distribuído. As restrições e os cuidados a serem tomados são: - Exige gerenciamento do carregamento de cada sistema. - Apresenta pequena perda quanto à confiabilidade facilmente compensada com um adequado projeto, seleção, testes e comissionamento dos sistemas. - Tipo de UPS a ser usado. Este componente é chave para a capacidade, confiabilidade e disponibilidade do sistema elétrico e hoje há um bom leque de opções. principalmente para grandes sistemas: - Estáticos (com baterias) ou dinâmicos (inerciais) ou fly-wheel. - Dupla conversação ou de regulação paralela (p.ex. delta conversion®). Os estáticos de dupla conversão apresentam bom custo inicial e são mais comuns, porém tem menor rendimento. Os de regulação paralela apresentam elevada eficiência e autonomia nas mesmas condições dos estáticos de dupla conversão. Os dinâmicos (com fly-wheel) com custo inicial mais elevado exigem projeto especifico em função do reduzido tempo de operação sem rede (15 a 20 segundos), porém são muito eficientes e confiáveis intrinsecamente, por não dependerem de baterias. Página 9 Engenharia Gerencial HTTP://WWW.cspi.com.br Projetos, Consultoria e Gestão de Instalações Elétricas [email protected] Power Premium Solutions Eng. José Luiz De Martini tel (11) 4192 2935 fax (11) 4192 3241 cel.(11) 8445 5453 ________________________________________________________________________________________________ Os dinâmicos (fly-wheel) de grande capacidade, com módulos a partir de 1000 kW muito usados em instalações de maior porte, podem ser ligados nas redes de média tensão, simplificando enormemente o projeto oferecendo altos índices de disponibilidade sem perda da confiabilidade e custos. Independente da tecnologia os principais fabricantes tem apostado em soluções modulares, contradizendo modelos mais antigos de calculo de confiabilidade que os classificaria como de baixo índice em função do grande numero de módulos - Tensão a ser adotada. Seguindo padrão Norte Americano, muitos Data Centres tem sido projetados em 480 V, com a necessidade de transformadores acoplando os UPS a carga, normalmente servidores ligados de 120 a 208 V. Estes transformadores são aptos a operar com significativo conteúdo harmônico na carga, tem, no entanto, três inconvenientes: - Corrente de magnetização a jusante dos UPS. - Perdas de energia. - Espaço ocupado. Com a melhor qualidade das fontes de alimentação, com menor conteúdo harmônico e sendo os UPS aptos a manipular esta condição, o conjunto das boas praticas de eficiência energética aponta para adoção de sistemas em 380~400 V, e servidores ligados diretamente em 220~240 V. - Adaptabilidade dos sistemas de climatização. Para diferentes densidades de carga, existem diferentes soluções de climatização, que exigem diferentes demandas de espaços físicos. Se para densidades de até 2 ~3 kW/m² podemos pensar em condicionadores tipo down-flow, insuflamento pelo piso e retorno ambiente, esta solução pode não ser adequada acima destes montantes. O projeto de arquitetura e a capacidade de energia devem considerar soluções combinadas usando desde refrigeração localizada nos equipamentos e racks, sistemas como Rear Door Heat Exchanger®, IN-Row®, XDV®, além de condições ideais para insuflamento e retorno de ar ambiente, como visto na parte 3, deste trabalho. Podemos ainda ajustar os projeto de climatização as reais condições locais, usando recursos de free-cooling, energia geothermal, cursos d’água existentes. Página 10 Engenharia Gerencial HTTP://WWW.cspi.com.br Projetos, Consultoria e Gestão de Instalações Elétricas [email protected] Power Premium Solutions Eng. José Luiz De Martini tel (11) 4192 2935 fax (11) 4192 3241 cel.(11) 8445 5453 ________________________________________________________________________________________________ Vejamos a mesma tabela de custos com energia e sistema elétrico quando podemos reduzir a demanda e consumo elétricos com climatização, em pelo menos 30%. Sistema Base Sistema elétrico(1.340 kW) R$ 11.5 mil / kW Energia (10 anos) Redução de 15% Custo total (10 anos) Custo mensal por rack 10 kW/rack – 90 racks Investimento / Opex R$ 15.540.000,00 R$ 23.620.000,00 R$ 39.160.000,00 R$ 3.626,00 Chegamos a 22% de redução de custo total de propriedade (Opex + Capex) por servidor em dez anos de operação, apenas com ações de projeto de construção e instalações. - Confiabilidade, Comissionamento, Manutenção e Controle. Um adequado sistema de gerenciamento e controle das utilidades, controlando energia e climatização deve ser parte natural de qualquer projeto, pois associado a um bom procedimento de comissionamento, coordenação e seletividade da proteção elétrica e manutenção são os verdadeiros indicadores da Confiabilidade, muito mais sólido do que modelos estatísticos padronizados. Grande parte do desperdício de energia com climatização vem da operação em contraponto dos condicionadores, onde algumas unidades umidificam e outras desumidificam e reaquecem ao mesmo tempo. Um adequado sistema de controle descarta este problema. A solução de redundância distribuída, modelo 1,5N, também exige um monitoramente constante das demandas. Enfim se o desenho dos sistemas define a disponibilidade do projeto, estas medidas acabam por eleger o índice de confiabilidade resultante para uma operação de longa duração, normalmente superior a 10 anos. Ou seja, um projeto reduzido como propomos pode aparentemente ser menos confiável, porém com estas medidas pode não só recuperar como incrementar a confiabilidade, até em função do menor numero de componentes necessários. Página 11 Engenharia Gerencial HTTP://WWW.cspi.com.br Projetos, Consultoria e Gestão de Instalações Elétricas [email protected] Power Premium Solutions Eng. José Luiz De Martini tel (11) 4192 2935 fax (11) 4192 3241 cel.(11) 8445 5453 ________________________________________________________________________________________________ Parte 3: Instalações de Climatização. No início dos estudos para implantação de um Data Center (DC), independentemente do porte, a questão mais comum que se apresenta é qual a carga dissipada que deverá ser considerada já que, dependendo da densidade do DC), as melhores soluções serão distintas. Esta questão é extremamente crítica devido ao impacto financeiro que cada solução terá no custo final de implantação, além da vida útil, possibilidade de aumento de capacidade, custos operacionais, entre outros. Normalmente, os sistemas de ar condicionado e de eletricidade podem atingir a até 2/3 do total do investimento previsto para a construção de um DC. Existem muitos fatores que devem ser levados em conta por ocasião das definições de potência elétrica e de climatização tais como: - tipo dos equipamentos utilizados, - taxa de migração dos equipamentos de processamento para novas tecnologias, - variações de densidade de cargas de acordo com o efetivo lay out, - tipo do DC (Corporativo, Financeiro, Governamental, Co-Location, etc) - Variações de projeto para áreas com baixa carga ou densidade. Como exemplo os atuais Blade Servers, 1U Servers e as Storage Areas Networks apresentam densidades superiores a 5000 W/m2. Por outro lado, na grande maioria dos DC, existe uma combinação de equipamentos de tecnologia “antiga” com “novas”, que resultam em densidades da ordem de 400 a 500 W/m2, mesclando áreas de altíssima densidade com outras de densidade extremamente baixa. Ou seja, é intuitivo que as soluções para ambas as situações devem ser diferentes e específicas a cada realidade. O Data Center é um ambiente que oferece serviços de alto valor agregado pelas garantias intrínsecas de confiabilidade, redundância e performance necessárias para o armazenamento de dados, back up de informações, gerenciamento de aplicações, monitoramento, emissão de relatórios on line, suporte técnico, enfim, quaisquer aplicações em que seja imprescindível a operação ininterrupta durante 24 horas, 365 dias por ano, aplicações estas classificadas como de “missão crítica”. Os prédios que abrigam ambientes com essa classificação devem ser concebidos com base tecnológica redundante, ou seja, possuir toda a infra-estrutura necessária ao perfeito funcionamento destes ambientes de maneira plenamente segura. Uma infra-estrutura segura não significa apenas instalar uma quantidade maior de equipamentos, Condicionadores, Chillers, UPS, Geradores, pois, se a concepção dos respectivos sistemas não for adequada, a confiabilidade dos mesmos estará irremediavelmente comprometida, ainda que existam equipamentos redundantes. Página 12 Engenharia Gerencial HTTP://WWW.cspi.com.br Projetos, Consultoria e Gestão de Instalações Elétricas [email protected] Power Premium Solutions Eng. José Luiz De Martini tel (11) 4192 2935 fax (11) 4192 3241 cel.(11) 8445 5453 ________________________________________________________________________________________________ Uma Visão Geral A potência consumida pelos equipamentos instalados em um único rack pode ser extremamente variável dentro de um mesmo DC, ou seja, podemos ter tanto racks com potências inferiores a 500 W como outros com potência superior a 20 kW, como no caso dos Blade Servers. Por outro lado, em grande parte dos atuais DC brasileiros, a carga média é da ordem de 2 kW/m2, ou seja, não podemos nos preocupar apenas e tão somente com a “carga total dissipada” no dimensionamento do sistema de ar condicionado e sim como essa carga está efetivamente distribuída, ou melhor, “concentrada”, de maneira a permitir a adoção de medidas específicas para o atendimento destes pontos que, com certeza, deverão possuir uma atenção diferenciada. A princípio, a solução mais simples seria dimensionarmos todo o DC para uma carga de 20kW / rack, com refrigeração redundante. Todavia, se assim procedermos, o resultado será um enorme e extremamente ineficiente DC e, além disso, inviável tanto técnica como economicamente para a grande maioria das situações. Ou seja, se adotarmos premissas incorretas no momento em que estivermos projetando um DC de alta densidade, iremos aumentar desnecessariamente todos os custos inerentes, quer sejam de implantação, quer sejam de operação e também de infra-estrutura “super-dimensionada” e do desperdício de áreas construídas a maior. Assim sendo, o primeiro passo a tomar é rever o conceito de “densidade de carga” pois podemos cometer erros críticos quando nos limitarmos apenas ao significado original da mesma, ou seja, W/m2 ou até mesmo W/ambiente. Se a potência consumida em todos os racks fosse aproximadamente a mesma, tal informação seria suficiente para projetarmos o DC. Todavia, na prática, não é isso que observamos, pois a variação de potência entre os diversos racks varia enormemente em função das características e aplicações de cada um deles. A partir disso precisamos entender que a densidade de carga pode (e deve) estar relacionada ao rack (carga máxima por rack), às filas (carga máxima por fila) e, finalmente, pelo ambiente (carga máxima por área de piso). Tais diferenças conceituais são fundamentais para permitir a escolha mais adequada do sistema a ser utilizado visando atender as necessidades específicas de cada equipamento e/ou conjunto de equipamentos. Atualmente é cada vez mais freqüente a utilização de servidores Blade, tanto nos DC existentes como naqueles em planejamento. Exatamente em função da alta carga dissipada, tais equipamentos requerem soluções específicas que devem ser rigorosamente observadas de modo a otimizar ao máximo todos os recursos disponibilizados. É preciso inclusive avaliar a possibilidade de instalarmos todos os Blade Servers numa área independente com tratamento diferenciado das demais já que as exigências de resfriamento são elevadas. Caso não seja possível isolar os Blade e/ou tratar-se de um DC existente, deve-se, na medida do possível, distribuir-se os Blades uniformemente pelo ambiente. Página 13 Engenharia Gerencial HTTP://WWW.cspi.com.br Projetos, Consultoria e Gestão de Instalações Elétricas [email protected] Power Premium Solutions tel (11) 4192 2935 fax (11) 4192 3241 cel.(11) 8445 5453 Eng. José Luiz De Martini ________________________________________________________________________________________________ Estratégias para Atendimento. a) Instalar os Condicionadores em Linha com os “Corredores Quentes” Ao contrário do que possa parecer num primeiro momento, os condicionadores (CRAC) devem estar posicionados, na medida do possível, de frente para os corredores “quentes”, isto porque nessa configuração o ar quente proveniente dos racks seguirá preferencialmente em direção aos mesmos, não se misturando com o fluxo de ar nos corredores “frios”. CRAC Corredor Frio Corredor Quente CRAC Corredor Frio Corredor Quente Corredor Frio CRAC CRAC Página 14 Engenharia Gerencial HTTP://WWW.cspi.com.br Projetos, Consultoria e Gestão de Instalações Elétricas [email protected] Power Premium Solutions Eng. José Luiz De Martini tel (11) 4192 2935 fax (11) 4192 3241 cel.(11) 8445 5453 ________________________________________________________________________________________________ b) Implantar Corredores “Quentes” e “Frios” Com raras exceções, todos os servidores montados em racks possuem fluxo de ar horizontal no sentido frontal / traseiro. A figura abaixo mostra essa configuração onde todos os servidores estão com a frente voltada para o mesmo corredor (“corredor frio’), provido de placas perfuradas de insuflamento, da mesma forma que as partes traseiras (“corredor quente”) onde as placas de piso são cegas. Podemos otimizar ainda mais essa configuração mediante a utilização de um forro falso provido de grelhas posicionadas nos “corredores quentes”, com o ar seguindo até o condicionador de ar cujo retorno deverá ser dutado até o pleno formado entre o forro e a laje. Nessa situação, todo o ar quente é imediatamente removido e não influencia em nada os demais racks. Página 15 Engenharia Gerencial HTTP://WWW.cspi.com.br Projetos, Consultoria e Gestão de Instalações Elétricas [email protected] Power Premium Solutions Eng. José Luiz De Martini tel (11) 4192 2935 fax (11) 4192 3241 cel.(11) 8445 5453 ________________________________________________________________________________________________ c) Não deixar espaços vagos no rack entre os servidores Caso seja necessário deixarem-se espaços vagos entre servidores instalados num mesmo rack, os mesmos deverão ser fechados com tampas apropriadas de maneira e evitar o curtocircuito de ar quente. O mesmo procedimento deve ser adotado com relação aos espaços abertos no piso elevado para passagens de cabos. Página 16 Engenharia Gerencial HTTP://WWW.cspi.com.br Projetos, Consultoria e Gestão de Instalações Elétricas [email protected] Power Premium Solutions Eng. José Luiz De Martini tel (11) 4192 2935 fax (11) 4192 3241 cel.(11) 8445 5453 ________________________________________________________________________________________________ d) Distribuir igualmente os Racks com Maior Densidade pelo DC Quando instalamos conjuntos de vários Racks de Alta Densidade, a maior parte dos sistemas de climatização usualmente utilizados se mostram deficientes, isso porque a vazão de ar por setor é relativamente limitada e não terá condições de atender as exigências dos mesmos. Por outro lado, caso os Racks estejam distribuídos pelo DC, tal problema pode ser facilmente contornado uma vez que é intuitivo que a capacidade total do sistema também é praticamente distribuída. Situação 1: DC com racks de alta densidade em conjunto Situação 2: DC com racks de alta densidade distribuídos pelo DC Rack com 10 kW Rack com 2,5 kW Página 17 Engenharia Gerencial HTTP://WWW.cspi.com.br Projetos, Consultoria e Gestão de Instalações Elétricas [email protected] Power Premium Solutions Eng. José Luiz De Martini tel (11) 4192 2935 fax (11) 4192 3241 cel.(11) 8445 5453 ________________________________________________________________________________________________ Atendimento de Racks com Alta Densidade e/ou Blade Servers Quando a quantidade de Racks com Alta Densidade e/ou de Blade Servers for considerável, ou ainda quando os mesmos forem instalados em DC existentes onde o sistema de climatização já esteja operando próximo do limite máximo, devemos adotar estratégias diferenciadas de maneira a atender as necessidades destes equipamentos da maneira mais exclusiva quanto possível de maneira a preservar o funcionamento normal do restante do DC. a) Sistemas Suplementares de Condicionamento Para este tipo de solução normalmente é exigido um planejamento prévio de maneira a permitir a implantação destes sistemas adicionais sem interferência com os equipamentos existentes. As principais técnicas para esta alternativa são as seguintes: Sistemas complementares localizados de acordo com a demanda de refrigeração. Utilizam refrigeração liquida bombeada evitando condensação de umidade. Página 18 Engenharia Gerencial HTTP://WWW.cspi.com.br Projetos, Consultoria e Gestão de Instalações Elétricas [email protected] Power Premium Solutions Eng. José Luiz De Martini tel (11) 4192 2935 fax (11) 4192 3241 cel.(11) 8445 5453 ________________________________________________________________________________________________ Instalação de dutos de exaustão e/ou ventiladores diretamente nos racks interligando a descarga de ar diretamente para o retorno geral do sistema Instalação de Racks especiais providos de sistema autônomo de refrigeração Instalação de placas de piso especiais providas de ventiladores booster insuflando o ar no corredor “frio” e/ou diretamente sob o rack Condicionadores para instalação em linha formando conjunto ao lado dos racks. Página 19 Engenharia Gerencial HTTP://WWW.cspi.com.br Projetos, Consultoria e Gestão de Instalações Elétricas [email protected] Power Premium Solutions Eng. José Luiz De Martini tel (11) 4192 2935 fax (11) 4192 3241 cel.(11) 8445 5453 ________________________________________________________________________________________________ b) Áreas Dedicadas de Alta Densidade Definir ambientes totalmente independentes dos demais especialmente concebidos para atender as altas cargas dissipadas. Estes ambientes podem ser substituídos por soluções específicas desenvolvidas por alguns fabricantes reunindo num mesmo conjunto os racks, o sistema de condicionamento e o sistema de força completo (incluindo UPS), viabilizando a instalação de racks de alta densidade até mesmo em locais providos apenas de sistemas de ar condicionado para conforto uma vez que o sistema de ar condicionado dos racks é totalmente independente. Página 20 Engenharia Gerencial HTTP://WWW.cspi.com.br Projetos, Consultoria e Gestão de Instalações Elétricas [email protected] Power Premium Solutions Eng. José Luiz De Martini tel (11) 4192 2935 fax (11) 4192 3241 cel.(11) 8445 5453 ________________________________________________________________________________________________ Soluções com energia limpa – baixo consumo. Tradicionalmente são empregados condicionadores de ar com expansão direta ou indireta, estes ligados usualmente em centrais de água gelada, com sistema de condensação a ar ou água. Até pouco tempo até mesmo condicionadores destinados a sistemas de conforto (com baixa capacidade para calor sensível) eram usados em prol de um menor investimento inicial. O resultado acabava sendo um péssimo PUE, ultrapassando a barreira de 2, ou seja o consumo de energia nos servidores acaba resultando em pelo menos o dobro no consumo total do Data Center. Hoje devemos procurar condicionadores de alto rendimento, com alta taxa de calor sensível, capacidade variável e eficientes sistemas de controle. Também já são realidade soluções como Free Cooling e aplicações Geotermais, pois todos os modelos de distribuição de ar citados permitem a eliminação de Hot Spots no Data Center, tornando possível elevar a temperatura de ar frio para 24°C, reduzindo drasticamente a carga térmica e viabilizando estas opções. Diretriz para projeto. Pelo exposto, fica evidente a necessidade da elaboração de um projeto perfeitamente desenvolvido para as efetivas necessidades de cada Cliente em particular, levando em consideração tanto a situação atual como a perspectiva de futuras ampliações. Dessa maneira é de extrema importância que o sistema de ar condicionado seja modular contemplando reservas operacionais estratégicas que possam vir a suprir eventuais alterações de tecnologia nos equipamentos de processamento. Apenas como exemplo, muitos ainda se lembram dos imensos computadores instalados no interior dos CPD que necessitavam de resfriamento direto por meio de água gelada. Estes computadores foram gradativamente substituídos por outros com maior capacidade de processamento, menor área ocupada e maior facilidade de refrigeração, eliminando a necessidade da utilização da água gelada. Todavia, nos dias de hoje já é bastante comum a utilização de racks refrigerados diretamente por trocadores acoplados aos mesmos, ou seja, retornamos a uma condição que todos nós julgávamos ultrapassada. Assim sendo, entendemos que o correto planejamento do DC deva considerar o crescimento escalonado, tanto dos sistemas de processamento como das utilidades, e a curva teórica de adensamento prevista para, no mínimo, os próximos 10 anos para somente então determinar as efetivas necessidades de espaço físico, padrão construtivo, soluções de climatização e também de energia. Página 21 Engenharia Gerencial HTTP://WWW.cspi.com.br Projetos, Consultoria e Gestão de Instalações Elétricas [email protected] Power Premium Solutions Eng. José Luiz De Martini tel (11) 4192 2935 fax (11) 4192 3241 cel.(11) 8445 5453 ________________________________________________________________________________________________ Parte 4: Requerimentos de arquitetura. Como visto nas partes anteriores, o projeto de arquitetura deve considerar a avaliação das necessidades presentes e futuras e assim iniciando com a viabilização e escolha da localização e seleção do imóvel e chegando as características físicas da edificação e condições específicas de capacidade e segurança, sob o viés da certificação através das normas específicas e das boas práticas de sustentabilidade. O que deve ser um Data Center? Um Data Center é um conjunto integrado de componentes de alta tecnologia que permitem fornecer serviços de infra-estrutura- processamento e armazenamento de dados, em larga escala - de alto valor agregado, para que organizações de qualquer porte possam ter ao seu alcance uma estrutura de grande capacidade e flexibilidade, alta segurança para processar e armazenar informações. Como categorizar os Data Centres? Uma maneira ampla de classificar um Data Center é categorizá-lo pelo porte, e podem ser: 1 - Server CLOSET – Unidades instaladas em gabinetes, típico de pequenos escritórios, lojas e estabelecimentos isolados. 2 - Server ROOM – Salas dedicadas a instalações de equipamentos de TI, porém como parte integrada de uma instalação comum. 3 - Localized DATACENTER – Conjunto destinado a receber os equipamentos de TI destinado a suportar as atividades de uma mesmo campus ou sitio. 4 – Mid-tier DATACENTER – Data Center destinado a aplicações complexas e variadas de TI, cobrindo necessidades corporativas em âmbito global. 5 - Enterprise DATACENTER – Data Center com objetivos estabelecidos no próprio modelo de negocio em si. E, como se estabeleceram os padrões de projeto? Um pouco de história: até a TIA-942 Nos últimos 20 anos, padrões para instalações de cabeamento tem sido a base para garantir design, instalações e performance adequados para redes de telecomunicações. Página 22 Engenharia Gerencial HTTP://WWW.cspi.com.br Projetos, Consultoria e Gestão de Instalações Elétricas [email protected] Power Premium Solutions Eng. José Luiz De Martini tel (11) 4192 2935 fax (11) 4192 3241 cel.(11) 8445 5453 ________________________________________________________________________________________________ A TIA (Telecommunications Industry Association) revolucionou a indústria, quando publicou a primeira TIA-568 “Commercial Building Telecommunications Wiring Standard’, que descreveu os requisitos de design, instalações e performance para sistemas de cabeamento em edifícios comerciais. No conjunto, os padrões capacitaram a indústria para efetivamente avançar de forma mais rápida e com maior alcance. Porém de inicio os Data Centres, foram projetados sem nenhum padrão pré estabelecido, muitas vezes referenciados por soluções internas como as da IBM® e de instituições como o The Uptime Institute®. Em Abril de 2005, a TIA respondeu a essa necessidade com a TIA-942 “Telecommunications Infraestructure Standards for Data Centres”, o primeiro padrão específico para infra-estrutura de Data Centres. Proposto para ser usado por projetistas de Data Centres, antes do processo de desenvolvimento da edificação, a TIA-942 envolve as premissas e requerimentos para: Terreno e layout Infra-estrutura de cabeamento Graus de confiabilidade (Tiers) Considerações sobre entorno Essas normas são constantemente atualizadas, de forma a contemplar as modificações, novas técnicas e evolução de todos os componente do processo. O que são os “Níveis de Confiabilidade (TIERs)? A performance do Data Center pode ser descrita por uma série de termos como confiabilidade, disponibilidade, nem sempre fáceis de serem calculados. - Disponibilidade relaciona o tempo médio entre falhas (MTBF) e o tempo de recuperação, MTTR, e pode ser diretamente as condições de permissão para manutenção previstas em projeto. - Confiabilidade por sua vez expressa a possibilidade de falha de um componente e sua conseqüência para a operação para um determinado tempo de missão. A caracterização dos níveis ou camadas (TIER) oferece um guia pratico para orientar o projeto de um Data Center sem que complexos cálculos precisem ser obrigatoriamente aplicados. Página 23 Engenharia Gerencial HTTP://WWW.cspi.com.br Projetos, Consultoria e Gestão de Instalações Elétricas [email protected] Power Premium Solutions Eng. José Luiz De Martini tel (11) 4192 2935 fax (11) 4192 3241 cel.(11) 8445 5453 ________________________________________________________________________________________________ Existe sempre um compromisso entre o custo total de propriedade (TCO) e a escolha de uma camada. Ou seja, quanto mais elevado o Tier do Data Center (menor downtime) maior será seu custo de implantação e operação. No projeto do Data Center a parte do planejamento requer muito cuidado pois é aqui que normalmente se encontram os maiores erros. Deve-se construir uma especificação resultante das preferências e limitações do projeto. Os métodos de classificação mais conhecidos são o The Uptime Institute's Tier Performance Standards, TIA 942 e Syska Henessy Group's Criticality Levels. Uptime Performance Standard foi criado em 1995 é o guia preferencial em projetos de Data Centres, mas não especifica detalhes de projeto, embora esta entidade possua inúmeros trabalhos de referencia publicados. O anexo G da TIA 942 que trata da construção e instalações para Data Center é baseado nos princípios do The Uptime Institute. A escolha da camada de criticidade considerando qualquer um dos métodos deve vir de um balanço entre o custo do downtime (ou prejuízos por paradas) e o equivalente custo total de propriedade (TCO). Devemos considerar se estamos falando de um novo projeto (greenfield) ou de um Data Center já existente (retrofit). Para cada um dos 4 TIERs, estão descritas as recomendações para arquitetura, segurança, sistemas elétricos, sistemas mecânicos e de telecomunicações. O mais importante é que os projetistas saibam transpor para o projeto estes conceitos, preservando a viabilidade do negócio e os custos, pensando sempre na eficiência energética. Fundamental: O custo inicial e a eficiência energética é fortemente influenciado pelo projeto de arquitetura, que deve oferecer suporte para todos os aspectos descritos nas etapas anteriores deste trabalho. E, qual impacto nos projetos de Arquitetura? Primeiramente, a arquitetura é o meio pelo qual se promovem soluções e instalações que refletem a imagem de uma empresa de alta tecnologia sendo a forma de externar competência, confiabilidade e posicionamento no mercado. É através das soluções de Arquitetura, que se obtém um Data Center confiável, com alta disponibilidade respeitando-se os custos e o meio ambiente, maximizando o investimento. Página 24 Engenharia Gerencial HTTP://WWW.cspi.com.br Projetos, Consultoria e Gestão de Instalações Elétricas [email protected] Power Premium Solutions Eng. José Luiz De Martini tel (11) 4192 2935 fax (11) 4192 3241 cel.(11) 8445 5453 ________________________________________________________________________________________________ Devem ser feitas, na etapa inicial do projeto, as considerações referentes à expansão e crescimento gradual, de forma a evitar custos iniciais desnecessários e perda de eficiência energética. O custo da edificação, em si, representa menos de 10% do valor total do Data Center, mas esse custo tem impacto na etapa inicial, e principalmente nos custos de operação e manutenção. Um projeto de arquitetura que não responda adequadamente as condições ideais de instalações poderá resultar em custos irreparáveis. O projeto deve considerar, antecipadamente, o processo de desenvolvimento da edificação, incluindo a coordenação efetiva, que atravesse as diversas áreas de expertise, incluindo telecomunicações, geração de energia e sistemas mecânicos. Muito se fala em requerimentos para instalações, porém as referencias citadas trazem todas as premissas a serem atendidas pela Arquitetura e Construção. Além das Certificações, o que há? As inovações! O foco em Sustentabilidade deve permear todo o projeto, acompanhando as novas tecnologias que se fazem presente, como as soluções de maior eficiência energética e a alta densidade. O projeto de arquitetura deve adequar a edificação, usando novos materiais e aplicar as práticas de um projeto sustentável. Um exemplo de resposta ao crescente adensamento de cargas, é suprir a nova demanda dos Data Center com soluções adequadas de refrigeração como visto na terceira parte deste trabalho. O custo do sistema de refrigeração dependerá e muito do projeto Arquitetônico, incluindo ai a escolha quanto a localização e seleção do imóvel. O emprego de soluções com utilização dos sistemas modulares de climatização pode prescindir da utilização de pisos elevados em determinadas condições, reduzindo custos. Há ainda a Norma de desempenho de Projetos, que entrará em vigor em Maio de 2010, e que de forma mais incisiva, responsabiliza o autor do projeto pelo desempenho da edificação. Página 25 Engenharia Gerencial HTTP://WWW.cspi.com.br Projetos, Consultoria e Gestão de Instalações Elétricas [email protected] Power Premium Solutions Eng. José Luiz De Martini tel (11) 4192 2935 fax (11) 4192 3241 cel.(11) 8445 5453 ________________________________________________________________________________________________ Conteudo e programa para projeto arquitetônico. O projeto de arquitetura e construção civil para um Data Center deve considerar o seguinte programa mínimo: - Implantação geral no terreno prevendo: - Estacionamentos. - Areas para equipamentos técnicos. - Portaria e dependências de recepção e controle. - Paisagismo. - Edificação (ou edificações) contendo: - Data Center Room com os equipamentos de produção. - Salas para telecomunicações. - Áreas para Command Center (NOC), reuniões e equipe de operação. - Áreas auxiliares, depósitos, manutenção, desembalagem e recebimento. - Áreas de infra-estrutura elétrica e de climatização. - Áreas para conforto humano. A concepção do projeto deve atender aos requisitos das referencias citadas, como a TIA 942, quanto a segurança do complexo e oferecer todos os meios para que os equipamentos de produção, controle e telecomunicações e infra estrutura de energia e climatização sejam instalados e operados com a máxima eficiência e adaptabilidade. Página 26 Engenharia Gerencial HTTP://WWW.cspi.com.br Projetos, Consultoria e Gestão de Instalações Elétricas [email protected] Power Premium Solutions Eng. José Luiz De Martini tel (11) 4192 2935 fax (11) 4192 3241 cel.(11) 8445 5453 ________________________________________________________________________________________________ Conclusão. Resumindo todas as ações, com o efeito em cascata e partindo do modelo Data Center que não seja tomado pelas praticas apresentadas, podemos ter uma diferença de até 2,8 vezes menos consumo de energia para a mesma capacidade ou volume de processamento, com os respectivos ganhos em termos financeiros. Iniciar com o adequado planejamento das ações de TI e dimensionamento correto do data Center considerando o crescimento escalonado das necessidades e a curva de adensamento prevista para os próximos 10 a 15 anos e então modelar as necessidades de espaço (arquitetura e construção civil) e então implantar soluções de climatização e energia atendendo a estes princípios. Devemos evitar um dos erros mais comuns. O custo do edifício (imóvel e obras civis) é muito pequeno em relação ao custo total do Data Center, 10% talvez, e um edifício inadequado pode significar elevado custo de implantação das instalações e respectivo consumo de energia. Referencias para consulta. Este trabalho conta com as informações pessoais do autor e as referencias, que recomendamos conhecer, incluindo os links associados. - A Roadmap for Reducing Energy Consumption In The Data Center Raphael Garcia / Emerson Networking Power - Google Efficiente Computing http://www.google.com/corporate/green/datacenters - Sun’s Energy Efficiente DataCenter Tour http://www.sun.com/aboutsun/environment/media/datacenter_tour.xml http://blogs.sun.com/geekism/entry/i_ll_show_you_mine - U.S. Department of Energy http://www.lbl.gov/ - The Uptime Institute http://www.uptimeinstitute.org/ - Upsite Technologies http://upsitetechnologies.com/ - European Commission – Directorate General – JRC- Joint Research Centre - Institute for Energy Renewable Energies Unit Code of Conduct on Data Centres Energy Efficiency - Version 1.0, 30 October 2008 Página 27