Servidores para IA: GPU, alimentación y densidad por rack

La primera decisión no es la marca del acelerador sino si el nodo va a servir inferencia o a entrenar. Entrenar está limitado por el ancho de banda entre GPU y por la memoria agregada: escala a varios nodos y exige interconexión dedicada con RDMA, porque en cuanto la red se vuelve el cuello de botella las GPU pasan el tiempo esperando datos. La inferencia está limitada por la capacidad de memoria para alojar los pesos y por la latencia por petición, y muchas veces corre bien en nodos de una o dos GPU. Comprar un nodo de entrenamiento para servir inferencia desperdicia capital y, sobre todo, potencia eléctrica.

La memoria se calcula, no se estima. Los pesos ocupan el número de parámetros multiplicado por los bytes de cada uno: un modelo de 70.000 millones de parámetros en precisión de 16 bits necesita del orden de 140 GB solo para pesos, unos 70 GB cuantizado a 8 bits y cerca de 35 GB a 4 bits. A eso se suma la caché de contexto, que crece con la longitud de la ventana y con el número de peticiones concurrentes, y que es lo que realmente decide cuántos usuarios simultáneos soporta el nodo. Primero se fija la VRAM agregada necesaria; recién después se elige acelerador e interconexión.

El punto donde más proyectos se frenan en la región no es el precio del acelerador sino la instalación. Un nodo con ocho aceleradores de gama alta puede demandar entre 6 y 10 kW, mientras que un rack de colocation regional suele estar aprovisionado entre 3 y 8 kW. Antes de emitir la orden hay que confirmar tres cosas con el data center: potencia contratada por rack, tipo de circuito y capacidad de las PDU, y si la sala disipa por aire con pasillo confinado o admite puertas traseras con intercambiador de calor. La densidad por rack, y no el presupuesto, es la restricción que manda.

El resto del nodo se dimensiona en función de las GPU y no al revés. Cada acelerador quiere sus carriles PCIe completos, así que conviene revisar cuántas ranuras x16 electrónicas ofrece realmente el chasis antes de contar ranuras físicas. En entrenamiento, la lectura del conjunto de datos es aleatoria y un almacenamiento lento deja las GPU ociosas: NVMe local para preparación y staging, no un arreglo compartido por red pensado para respaldos. En red, 100G por nodo es lo razonable para entrenamiento distribuido, mientras que 25G suele bastar para servir inferencia en producción.

La forma sensata de entrar es por etapas: un nodo de inferencia en producción, medición real de utilización durante algunas semanas y crecimiento sobre datos propios en lugar de sobre una proyección. Chile es hoy la plaza donde esto se ve con más claridad, con Santiago consolidado como mercado de data centers regionales y un patrón de gasto orientado a capacidad y densificación más que a cobertura nueva. Para las piezas que no son acelerador —nodos de cabecera, almacenamiento de datos y red de clúster— el equipo refurbished certificado baja el costo total sin tocar el rendimiento de la carga.