Cómo dimensionar un data center

La unidad de diseño de un data center es el kilovatio por rack. No es la unidad de rack, no es el metro cuadrado y desde luego no es el puerto de switch. Un armario de cuarenta y dos unidades no admite cuarenta y dos servidores de una unidad salvo en un dibujo: admite tantos como permita la potencia que se le puede entregar y el calor que se le puede extraer. Cuando el proyecto se planifica al revés —primero los servidores, luego el switching, y la electricidad como un detalle de obra— el resultado es una sala con espacio libre que no se puede usar.

Haga la cuenta con números reales. Un rack alimentado por dos ramas monofásicas de treinta amperios a doscientos ocho voltios entrega, aplicando el ochenta por ciento de derating que corresponde a carga continua, algo menos de cinco kilovatios por rama. Si el diseño es de dos ramas verdaderamente redundantes, cada una tiene que poder sostener el total, así que la carga útil del rack es esa: unos cinco kilovatios, no diez. Con servidores de trescientos cincuenta vatios en operación, eso son catorce equipos. En un armario de cuarenta y dos unidades quedan veintiocho unidades vacías, y están vacías por diseño correcto, no por desperdicio.

Si necesita más densidad, la alimentación tiene que cambiar antes que el rack. Dos ramas trifásicas de treinta amperios a doscientos ocho voltios entregan del orden de ocho coma seis kilovatios útiles cada una con el mismo derating, y ahí ya caben veinticuatro servidores del mismo consumo. La conclusión práctica es que la conversación sobre cuántos equipos entran empieza en el cuadro eléctrico y en la unidad de distribución del rack, y termina —no empieza— en la lista de materiales de cómputo.

La cifra impresa en la fuente de alimentación es capacidad, no consumo. Un servidor de una unidad con dos fuentes de setecientos cincuenta vatios no consume mil quinientos vatios: consume lo que le pida su configuración, típicamente entre doscientos cincuenta y cuatrocientos cincuenta vatios según procesadores, cantidad de memoria, número de discos y carga aplicada. Presupuestar por la etiqueta de la fuente sobredimensiona la instalación eléctrica hasta el punto de encarecer el proyecto sin ningún beneficio, y presupuestar por el consumo en reposo lo deja corto el día que la carga sube.

El método correcto tiene tres pasos. Primero, calcule el consumo estimado de cada configuración con la herramienta de dimensionado del fabricante, indicando modelo de procesador, módulos de memoria y discos reales. Segundo, valide con medición: las unidades de distribución de energía gestionadas reportan consumo por toma, y una semana de datos vale más que cualquier estimación. Tercero, añada entre un veinte y un treinta por ciento de margen sobre el consumo medido, no sobre el nominal, para absorber picos, ventiladores a máxima velocidad y el equipo que se agregue durante el año.

Hay cargas que rompen todas las medias y hay que tratarlas por separado. Un rack de servidores de cómputo general convive sin problema en la banda de cinco a ocho kilovatios. Un rack de almacenamiento denso sube por la cantidad de discos. Y un rack con aceleradores para cargas de inteligencia artificial puede pasar de los cuarenta kilovatios, lo que ya no es un problema de unidad de distribución sino de arquitectura de sala completa: refrigeración por puerta trasera o líquido directo al procesador, y una acometida pensada para eso desde el principio.

Prácticamente toda la energía eléctrica que entra en un rack sale como calor: un kilovatio consumido son tres mil cuatrocientas doce unidades térmicas británicas por hora que hay que extraer. La capacidad instalada de las máquinas de clima es condición necesaria pero no suficiente, porque el problema real no suele ser la potencia frigorífica total de la sala sino el caudal de aire que llega a la entrada del rack. Una sala con capacidad de sobra puede tener racks en el límite térmico simplemente por distribución de aire.

El cálculo de caudal es útil y poco conocido. Para disipar un kilovatio con una diferencia de temperatura de doce grados entre entrada y salida hacen falta del orden de doscientos cincuenta metros cúbicos de aire por hora. Un rack de ocho kilovatios necesita entonces unos dos mil metros cúbicos por hora entrando por su frente. Si la baldosa perforada, el plenum o el pasillo no entregan ese caudal, la densidad real del rack queda por debajo de la del papel sin importar cuántas toneladas de refrigeración tenga instaladas la sala.

La medida que más aumenta la densidad sostenible sin cambiar equipos de clima es la contención de pasillo, frío o caliente. Evita la recirculación de aire caliente hacia la entrada de los servidores, que es lo que en la práctica dispara las temperaturas de admisión. Sobre esa base, las recomendaciones de admisión de aire entre dieciocho y veintisiete grados son perfectamente alcanzables. Por encima de unos doce a quince kilovatios por rack el aire empieza a ser un vehículo ineficiente y aparecen las puertas traseras refrigeradas y las soluciones líquidas, que son otra categoría de proyecto.

El número de puertos es una consecuencia, no un punto de partida. Una vez que la potencia disponible fija cuántos servidores caben por rack, el conteo es mecánico: dos puertos de datos por servidor si va conectado a dos conmutadores de hoja, más un puerto de gestión fuera de banda para la controladora integrada, que en las plataformas habituales de Dell y HPE es una interfaz dedicada. Catorce servidores por rack son entonces veintiocho puertos de datos y catorce de gestión, y el conmutador de gestión suele ser un equipo barato de un gigabit que se olvida en el presupuesto hasta que hace falta.

Un conmutador de hoja típico de cuarenta y ocho puertos de acceso a diez o veinticinco gigabits con seis enlaces ascendentes de cuarenta o cien gigabits atiende a veinticuatro servidores en doble conexión. Si la potencia solo permite catorce por rack, ese conmutador sirve a más de un armario o queda deliberadamente subutilizado, y ambas opciones son legítimas: compartir hojas entre racks ahorra dinero, dedicarlas simplifica el cableado y el diagnóstico. Lo que no es legítimo es comprar el conmutador antes de saber cuántos servidores va a alimentar.

Reserve puertos libres desde el primer día, entre un quince y un veinticinco por ciento del total. No es margen de crecimiento: es margen de operación. Un equipo de reemplazo que hay que conectar en paralelo antes de migrar, un dispositivo de captura para diagnosticar un problema, un appliance que nadie previó y que llega con la orden de instalarlo esta semana. Un data center con todos los puertos ocupados obliga a desconectar algo cada vez que hay que conectar algo, y eso genera incidentes.

En una topología spine-leaf, la sobresuscripción es la relación entre la capacidad de acceso de una hoja y su capacidad de subida hacia las espinas. Una hoja con cuarenta y ocho puertos de veinticinco gigabits suma mil doscientos gigabits de acceso; con seis enlaces ascendentes de cien gigabits suma seiscientos de subida, es decir dos a uno. Ese número no es bueno ni malo por sí solo: es aceptable o inaceptable según lo que corra por la fabric, y la mayoría de los diseños fallan por no haber hecho esa pregunta.

Las bandas que funcionan en la práctica son razonablemente estables. Virtualización general y hospedaje toleran relaciones de tres a uno o incluso cinco a uno sin que nadie lo note, porque el tráfico entre servidores es moderado y a ráfagas. El almacenamiento distribuido y la infraestructura hiperconvergente exigen dos a uno o mejor, porque la reconstrucción tras la caída de un nodo genera un volumen de tráfico este-oeste sostenido que satura enlaces ascendentes mal dimensionados justo en el peor momento. El entrenamiento de modelos de inteligencia artificial exige uno a uno y, además, control de flujo sin pérdidas correctamente configurado, que es un problema distinto del ancho de banda.

El número de espinas se decide por resiliencia, no por capacidad. Con dos espinas, perder una cuesta la mitad de la capacidad ascendente de toda la fabric; con cuatro, cuesta el veinticinco por ciento, que es una degradación que se absorbe sin afectar servicio. El número máximo de hojas, en cambio, sí lo fija el conteo de puertos de la espina: una espina de treinta y dos puertos de cien gigabits admite treinta y dos hojas con un enlace cada una, o dieciséis si cada hoja sube dos enlaces a la misma espina.

La regla que ahorra más dinero a lo largo de la vida de una sala es sencilla: diseñe la infraestructura pasiva para el objetivo final y compre el equipo activo para el año en curso. Canalizaciones, bandejas, troncales de fibra entre filas, capacidad de las barras y de las unidades de distribución, y espacio de acometida se instalan una sola vez y con la sala vacía cuestan una fracción de lo que costará hacerlos después con racks poblados y servicio en producción. Los conmutadores, los servidores y las ópticas se compran cuando hacen falta, porque su precio baja y sus prestaciones suben.

Sobre la acometida eléctrica conviene ser especialmente conservador, porque es lo único del proyecto que no depende de usted. Ampliar la potencia contratada implica negociar con la distribuidora y ejecutar obra, y en varios mercados de la región esos plazos superan con holgura cualquier tiempo de entrega de equipo. Si al final del primer año está usando el cien por ciento de la acometida, el crecimiento del segundo año no depende de su presupuesto sino de un tercero. Un objetivo razonable es no superar el sesenta o setenta por ciento de la capacidad contratada al cierre del primer año.

Deje también capacidad de maniobra física. Entre un veinte y un treinta por ciento de los racks vacíos y alimentados no es espacio desperdiciado: es lo que permite instalar el reemplazo de una plataforma antes de apagar la anterior, en lugar de hacer migraciones a ciegas. Y estandarice: un modelo de servidor, una configuración de unidad de distribución, un modelo de hoja, una longitud de latiguillo. La estandarización reduce el inventario de repuestos y es la condición previa para automatizar cualquier cosa; sin ella, cada rack es un caso particular.

Los niveles de redundancia eléctrica cuestan de forma no lineal y no todos los sistemas merecen el mismo. Un esquema con un módulo de reserva sobre los necesarios cubre la mayoría de los escenarios de un operador regional; la redundancia completa duplicando toda la cadena es cara y se justifica en los servicios donde una caída tiene consecuencias contractuales o regulatorias. Lo razonable en la mayoría de los proyectos es aplicar el nivel alto al núcleo de red y a los sistemas de facturación y autenticación, y el nivel intermedio al resto.

En sistemas de alimentación ininterrumpida, la cifra que importa es la autonomía medida con la carga real, no la nominal del catálogo. Una autonomía declarada de diez minutos al cincuenta por ciento de carga se convierte en cuatro o cinco minutos al cien por ciento, y esa diferencia es exactamente el tiempo que necesita un generador para arrancar y estabilizar. Del generador, además, casi nunca falla el motor: fallan el arranque, el conmutador de transferencia automática y el combustible almacenado sin mantenimiento. Una prueba mensual con carga real vale más que cualquier especificación.

En red, la redundancia física es la que más se simula y menos se verifica. Dos conmutadores de hoja por rack con agregación multichasis protegen contra la caída de un equipo, pero si las dos fibras salen del rack por la misma bandeja y siguen el mismo recorrido, un solo accidente las corta juntas. Lo mismo aplica a la alimentación: dos fuentes en el servidor solo son redundantes si van a dos unidades de distribución alimentadas por ramas eléctricas distintas. Documente los recorridos físicos y audítelos, porque la redundancia que solo existe en el diagrama lógico se descubre el día del incidente.

Antes de emitir la orden de compra conviene poder responder cada uno de los puntos siguientes con un número concreto, no con una impresión ni con la especificación del catálogo. Si alguno queda en blanco, es muy probable que el dimensionado esté apoyado en supuestos que nadie llegó a validar, y ese es exactamente el patrón que produce dos resultados conocidos: salas con espacio libre que no se puede poblar porque no hay potencia ni caudal de aire para hacerlo, y fabrics que funcionan perfectamente hasta el primer respaldo completo o la primera reconstrucción de un nodo de almacenamiento.

La lista sirve igual para una sala propia de un operador regional que para una jaula contratada en un centro de colocation, pero el uso es distinto. En una sala propia son decisiones de ingeniería que puede corregir mientras la obra avanza. En colocation, los primeros puntos son directamente cláusulas del contrato: la potencia contratada por rack, el esquema de redundancia eléctrica, la diferencia de temperatura garantizada en la admisión y el derecho a instalar unidades de distribución propias se negocian antes de firmar y resultan muy caros de cambiar después.