diseño conceptual data center

DISEÑO CONCEPTUAL DATA CENTER
ESTANDARES PARA DISEÑAR UN DATA CENTER
WIKI: http://redesdatacenter.pbworks.com/
El diseño de un data center involucra varias especialidades, como: Ingeniería de
redes, electricidad, cableado estructurado, seguridad de acceso y ambiental, entre
los principales.
El datacenter es el lugar donde se instalan todos equipos de comunicaciones,
servidores, sistemas de almacenamiento de una empresa.
No es simplemente una sala de equipo electrónicos, es un lugar que hay que
diseñarlo siguiendo los estándares internacionales.
DISEÑO
CONCEPTUAL
DATA CENTER
CASOS A
VERIFICAR
Ubicación
Electicidad
Refrigeracion
ESTANDARES PARA DISEÑAR UN
DATA CENTER
1. Tipo de datacenter a construir.
Aquí tomaremos como base la norma ANSI/TIA-942 que divide a los datacenter
en 4 Tiers. Esta norma es muy completa y establece las características y niveles
de redundancia que deben poseer cada uno de los Tier en aspectos
fundamentales como aspectos eléctricos, termomecánicos, edilicios, cableado y
comunicaciones entre otros. En esta etapa, debemos determinar a qué nivel de
redundancia pretendemos llevar el centro de datos y cuánto tiempo de
inactividad estamos dispuestos a tolerar. Un punto fundamental para decidir el
nivel del datacenter es cuánto representa en términos económicos para el
negocio una caída del procesamiento; dicho número nos ayudará a establecer el
nivel de inversión y redundancia a proyectar.
Equipamiento
Panel de Datos
Cableado
Monitoreo Comunicación
2. Equipamiento informático a instalar, presente y futuro.
En esta etapa, debemos tener muy en claro cuáles serán los equipos que se
instalarán dentro del datacenter, entre servidores, storage, librerías de backup,
switches de core, etc. Es un error muy común calcular el consumo eléctrico
sumando directamente lo que marca el manual de cada equipo e indica el
fabricante, por lo general éstas indicaciones corresponden a la máxima
configuración y carga del equipo en sus picos de arranque y en situaciones de
extrema exigencia, si solo tomamos esto para dimensionar el consumo eléctrico
seguramente sobredimensionemos la potencia. El paso correcto sería poder
medir el consumo eléctrico directamente con una pinza amperométrica en cada
rack u obtener este dato si tenemos instalados medidores de consumos en los
tableros o en las unidades de distribución de energía individuales que permitan
obtener el consumo real. Para las proyecciones de los nuevos racks en donde no
tenemos claro que equipos instalaremos estamos en la actualidad calculando un
consumo entre 5Kw y 7Kw. Lo importante de este punto es armar un sistema de
energía que sea escalable y flexible, que si en poco tiempo instalamos un rack
en donde el consumo real esté en 10Kw y nosotros previmos 7Kw, rápidamente
podamos adaptar la instalación sin necesidad de costosas modificaciones o
desechando las obras que se hicieron en el pasado y haciendo todo de nuevo.
1
Abel Claure
Materia: Redes
Distribución del consumo de energía en el data center
3. Cálculo de refrigeración.
En la actualidad, esta etapa es uno de los pasos más complejos y delicados de diseñar. Equipos con elevados
consumos de energía, gran disipación de calor, horas pico de procesamiento y dificultades de instalación de los
sistemas termomecánicos son algunos de los desafíos con los que nos cruzamos durante el diseño.
Tenemos diversas topologías para refrigerar un centro de cómputos, dentro de las cuales se destacan los sistemas de
refrigeración perimetral que inyectan aire por debajo del piso técnico, los de refrigeración por hilera que extraen el
calor de los pasillos calientes e inyectan frio por delante de los racks, los de enfriamiento por rack que inyectan el
aire frio desde la parte superior del rack, o los sistemas que simplemente prevén la inyección de aire frio en toda la
sala. Lo importante es poder armar un sistema flexible y escalable que permita refrigerar las necesidades actuales y
soportar las posibles exigencias a futuro. Deberemos también establecer el nivel de redundancia deseado, si será
agregando equipamiento de backup para la inyección de aire bajo piso, o logrando una redundancia N+1 en las filas
más críticas del datacenter si optamos por una refrigeración por hilera.
El mayor consejo que podemos dar es el de armar distintas zonas dentro del data center, ya sea que armemos un
centro de datos con varias hileras o por el contrario en una sola fila, deberíamos prever zonas para alta densidad
donde podamos instalar un consumos de 7Kw o superiores y otras con 2Kw o 3Kw de consumo por rack, como por
ejemplo para comunicaciones. Los sistemas de refrigeración son los que se llevan la mayor parte del consumo
eléctrico de un data center, como se ve en el gráfico 1, diversos estudios afirman que el 38% del consumo eléctrico
del data center es consumido por el sistema de refrigeración, basándonos en este dato resulta relevante el tipo de
tecnología que seleccionemos para refrigerar, ya que nos encontramos frente al principal ítem en donde podemos
realizar la optimización del ahorra de energía. Una vez seleccionada la topología de refrigeración debemos elegir
con que tecnología refrigeraremos, hay varios métodos, hoy aquí solo mencionaremos el de expansión directa y el
de chilled water, que son los más aplicables a nuestro mercado latinoamericano.
2
Abel Claure
Materia: Redes
Sistema de agua enfriada
De ambas alternativas, la más utilizada en la actualidad es la de expansión directa que presenta ventajas de
instalación con respecto al sistema de chilled water. La decisión de elección de un sistema u otro dependerá mucho
de la proyección de crecimiento del consumo de energía, para los centros de datos con consumos de energía
elevados es recomendable la instalación de sistemas de chilled water, ya que en el tiempo termina siendo más
eficiente y económica la refrigeración por agua helada. Aquí deberemos vencer el mito de ‘agua en el data center’,
que logrando instalaciones profesionales, seguras y bien diseñadas no debería generar ningún inconveniente
adicional la adopción de este sistema. Por último, debemos asegurarnos que los sistemas de refrigeración
contemplen un control permanente de la temperatura y humedad del ambiente y tengan incorporado ventiladores de
velocidad variable que inyecten frio y flujo de aire de acuerdo a las necesidades que se plantean a lo largo del día.
Este método nos permitirá optimizar el consumo de energía.
Mapa térmico de un centro de datos
4. Cálculo de potencia requerida.
Definidos los principales componentes, como el sistema de refrigeración y la potencia deseada por rack,
procedemos a calcular el resto de los consumos del centro de cómputos. Cabe aclarar que, al asignar un consumo
por rack, aquí están incluidos los consumos de servers, storage y comunicaciones. Nos quedaría dimensionar
iluminación, refrigeración de confort, sistemas de extracción de aire, bombas de extracción de agua si las hubiera o
sistemas de detección y extinción de incendios. Aquí estimaremos la potencia total de la UPS, que como venimos
destacando no es necesario que al inicio instalamos la potencia total requerida en los próximos 5 o 10 años, sino que
de acuerdo al plan de crecimiento e inversiones lo ideal sería armar un sistema modular y escalable que vaya
creciendo a medida que lo hace el negocio.
3
Abel Claure
Materia: Redes
Es fundamental establecer el nivel de redundancia eléctrica requerido, podremos pensar en sistemas N, N+1 o 2N+1,
con esta definición terminaremos de diseñar el sistema eléctrico, podrá implicar que lleguemos a alimentar cada
rack con doble acometida eléctrica de distintos tableros y distintas UPS, o un sistema mas simple con una sola
alimentación y una UPS, aunque esta última opción elevará la probabilidad de fallas del sistema. Una vez
establecida la potencia total requerida debemos cotejar la disponibilidad de la misma, ya sea dentro del edificio en el
cual se emplazará el datacenter o la disponibilidad directa de la compañía eléctrica en el caso de mayores consumos.
Por último el sistema de energía deberá prever la instalación de un grupo generador que actúe en los casos que la
compañía eléctrica interrumpa el servicio, el mismo deberá posibilitar que el 100% del data center pueda funcionar
y ser abastecido por el generador. La norma TIA942 establece para los data center Tier 4 que la generación de
emergencia debe ser concebida con la instalación de 2 grupos generadores que cada uno por si solo pueda abastecer
en 100% de la potencia requerida.
5. Conectividad.
Independientemente del tamaño del centro de datos debemos pensar como estarán conectados e integrados a la red
los servidores, storage o cualquier dispositivo que instalaremos en cada rack. Existe la posibilidad de instalar y dejar
previsto en los racks una cantidad determinada de cables de cobre y/o fibras que confluyan todos al área de
comunicaciones del data center, en la cual se encontrarán instalados los switches que nos proveerán de conectividad.
El sistema opuesto al descripto anteriormente prevé la instalación de switches individuales por rack y éstos
conectados por fibra o cobre al switch principal. La elección de una u otra topología dependerá del tipo y cantidad
de dispositivos que instalemos, requerimientos en cuanto a velocidad, performance y características de crecimiento.
6. Layout y espacios requeridos.
Con todas las definiciones y premisas que hemos establecido en los puntos anteriores, estamos en condiciones de
establecer el layout del centro de datos con los espacios y salas que necesitaremos. Si aspiramos estrictamente a
cumplir con las normas deberíamos pensar en armar un espacio exclusivo para el alojamiento de los racks de
servidores, un espacio diferente para los de comunicaciones, otro para la sala de UPS, uno para la sala de tableros,
un espacio previo a la sala de servidores para el desembalaje y preparación de equipos, sala para el ingreso de los
carriers de comunicaciones, y una sala de operadores y monitoreo. Si nos adaptamos a un mercado latinoamericano
donde los espacios son mas reducidos y a proyectos de menor envergadura podemos unificar en un mismo espacio
los racks de servidores y comunicaciones, y en algunos casos las UPS pueden también instalarse dentro de la fila de
racks. En otra alternativa las UPS y sala de tableros pueden instalarse en un mismo espacio, permitiendo concentrar
así todo lo referente a energía en la misma sala. Con respecto a la distribución de la sala de servidores, es de suma
importancia establecer el concepto de pasillos fríos y calientes, de esta forma se evita las mezclas de los distintos
aires, (fríos y calientes), permitiendo una mejor refrigeración y eficiencia.
Layout de un
centro de
datos
4
Abel Claure
Materia: Redes
7. Elección del Lugar.
Establecidas las medidas mínimas requeridas, debemos seleccionar el lugar de emplazamiento que dependerá del
nivel seleccionado. La norma ANSI/TIA-942, por ejemplo, establece para un Tier4 la utilización de un edificio en
forma exclusiva destinado al datacenter. Si pensamos en un Tier2 o Tier3, se establecen distintas normas de
seguridad y requerimientos que pueden ser cumplimentadas en edificios prexistentes. Cuando nos encontramos
frente a la remodelación de un centro de cómputos ya existente y en funcionamiento, debemos evaluar seriamente si
es mas conveniente la construcción de una sala nueva en un lugar diferente, ya que en las remodelaciones se deberá
trabajar, por lo general sin interrumpir las operaciones, con muy poca ‘ventana’ de corte de energía, y con el riesgo
de provocar alguna interrupción involuntaria del servicio durante la obra. Esta ecuación muchas veces nos orienta al
armado de un nuevo datacenter y la posterior migración de los equipos de procesamiento. Es fundamental
acercarnos a cumplir con los 1200Kg por metro cuadrado que solicita la norma en cuestión de la resistencia de la
losa del datacenter. En la actualidad, equipos de UPS, racks de servidores y storage están superando los 1000Kg de
peso en una superficie de 0,60 m2 que ocupa un rack.
8. Sistemas de control y seguridad.
Para resguardar el valor patrimonial y, aún más importante, el valor de los datos, debemos establecer sistemas de
control y seguridad que protejan al datacenter. Sistemas de detección y extinción de incendios, cámaras de
seguridad, controles de acceso a salas, control de acceso a nivel de racks, detección de fluidos, control de
temperatura y humedad, BMS, etc, son algunos de los ítems a tener en cuenta para lograr el nivel de seguridad
adecuado del edificio.
9. Valorización del Proyecto y Presupuesto.
Una vez definidos los puntos anteriores, procedemos a la valorización total del proyecto, en donde estimamos el
valor de construcción, provisión e instalación de cada componente definido, estableciendo y valorizando por cada
ítem distintas alternativas. En esta valorización, no sólo es importante determinar el valor actual de construcción,
sino el valor futuro de mantenimiento, ya sea el costo del mantenimiento preventivo, correctivo o el consumo
eléctrico, de esta ecuación saldrá la alternativa más conveniente a adoptar. Con la estimación de los valores de
construcción establecidos, debemos cotejarlos con el presupuesto asignado a la obra. Por lo general, las primeras
comparaciones siempre arrojan un valor superior de obra al presupuesto asignado para el proyecto. De ser así,
debemos ir repasando y ajustando al presupuesto cada uno de los puntos mencionados en este artículo de manera de
llegar al presupuesto establecido sin resignar prestaciones y niveles de confiabilidad. En ciertas obras, hemos tenido
que ajustar el proyecto y los costos más de 15 veces para lograr el mejor proyecto de acuerdo al presupuesto
asignado.
10. Confección del Proyecto Final de Construcción.
El proyecto final de construcción debe contener la ingeniería de detalle que establezca los parámetros y condiciones
con las que deberán cotizar los oferentes las distintas alternativas solicitadas. Debe estar acompañado, no sólo con
una descripción técnica del equipamiento, sino con planos de construcción civil, tendido de cañerías y bandejas,
layout de salas, diseño unifilar y topográfico de tableros, planos termomecánicos, disposición de cámaras y puntos
de control, detalle de sistemas de incendios, y todos aquellos planos que faciliten el correcto entendimiento de la
obra en cuestión. Debe contemplarse la mayor cantidad de detalles posibles con el fin de evitar olvidos o adicionales
de obra que surjan por la no especificación de algún parámetro.
5
Abel Claure
Materia: Redes
Tipos de Tier
Tier 1: Centro de datos Básico: Disponibilidad del 99.671%.
El servicio puede interrumpirse por actividades planeadas o no planeadas.
No hay componentes redundantes en la distribución eléctrica y de refrigeración.
Puede o no puede tener suelos elevados, generadores auxiliares o UPS.
Tiempo medio de implementación, 3 meses.
La infraestructura del datacenter deberá estar fuera de servicio al menos una vez al año por razones de
mantenimiento y/o reparaciones.
Tier 2: Centro de datos Redundante: Disponibilidad del 99.741%.
Menos susceptible a interrupciones por actividades planeadas o no planeadas.
Componentes redundantes (N+1)
Tiene suelos elevados, generadores auxiliares o UPS.
Conectados a una única línea de distribución eléctrica y de refrigeración.
De 3 a 6 meses para implementar.
El mantenimiento de esta línea de distribución o de otras partes de la infraestructura requiere una interrupción de las
servicio.
Tier 3: Centro de datos Concurrentemente Mantenibles: Disponibilidad del 99.982%.
Permite planificar actividades de mantenimiento sin afectar al servicio de computación, pero eventos no planeados
pueden causar paradas no planificadas.
Componentes redundantes (N+1) Conectados múltiples líneas de distribución eléctrica y de refrigeración, pero
únicamente con una activa.
De 15 a 20 meses para implementar.
Hay suficiente capacidad y distribución para poder llevar a cabo tareas de mantenimiento en una línea mientras se
da servicio por otras.
Tier 4: Centro de datos Tolerante a fallos: Disponibilidad del 99.995%.
Permite planificar actividades de mantenimiento sin afectar al servicio de computación críticos, y es capaz de
soportar por lo menos un evento no planificado del tipo ‘peor escenario’ sin impacto crítico en la carga.
Conectados múltiples líneas de distribución eléctrica y de refrigeración con múltiples componentes redundantes (2
(N+1) significa 2 UPS con redundancia N+1).
De 15 a 20 meses para implementar.
Por ejemplo, si en la publicidad de un proveedor presume de ser Tier 3, lo que nos está diciendo es que su
infraestructura no fallará más de 1.6 horas al año, que no hay interrupciones por mantenimientos planificados y que
puede haber eventos inesperados que causen interrupciones del servicio. Hay que recalcar que se refiere a la
infraestructura del centro de datos, y que otros aspectos como la disponibilidad de los equipos que van dentro del
datacenter se gestionan aparte.
Claro está, es lo que dicen en la publicidad. Ahora, ¿podemos exigir en nuestro SLA un Tier determinado? Pues me
temo que la cosa no es tan sencilla, ya que el uso de los Tiers se está usando para publicitar capacidades sin que
haya una certificación oficial de ello en la mayoría de los casos. De hecho, el Uptime Institute solo ha certificado
unos cuantos Centros de Datos en todo el mundo en los niveles 3 y 4. Por cierto ninguno en España. Así que dudo
que un proveedor pueda o quiera realmente garantizar un Tier determinado por contrato. Además, muchos
consideran inflexible esta clasificación por ser demasiado cerrada.
6
Abel Claure
Materia: Redes
Conclusión:
La experiencia nos indica que todos los factores que hemos mencionado deben ser analizados y vistos en conjunto,
deben conformar un único proyecto que contemple la situación actual y un esquema futuro de crecimiento,
permitiéndonos de esta manera asegurar la inversión inicial y que sea perdurable en el tiempo. No pretendemos que
con éste articulo el lector pueda construir un datacenter, ya que faltan innumerables ítems a considerar, pero sí
establecer una base mínima de requerimientos que deben ser tenidos en cuenta a la hora de remodelar o construir un
nuevo datacenter.
Biografía
http://www.trc.es/TRCSoluciones-126-Diseno-de-Data-center.aspx#.U1gop_l5NI4
http://www.datacenterdynamics.es/focus/archive/2012/03/diez-aspectos-fundamentales-tener-en-cuenta-paraconstruir-un-datacenter
http://es.wikipedia.org/wiki/Centro_de_procesamiento_de_datos
7
Abel Claure
Materia: Redes