En cuanto empiezas a fijarte en cómo están construidos realmente los sistemas de IA, hay una conclusión muy natural a la que la gente suele llegar y, para ser justos, al principio suena perfectamente razonable.

Si NAND es demasiado lento para ciertas partes de la carga de trabajo, e incluso las arquitecturas flash avanzadas siguen introduciendo suficiente retraso como para importar, entonces la respuesta obvia parecería ser agregar más DRAM. Después de todo, la DRAM siempre ha sido la capa rápida. Es donde viven los datos activos, responde con rapidez y, durante décadas, ha sido la parte del sistema en la que te apoyas cuando no quieres que el procesador se quede inactivo esperando a que algo llegue.

Así que la suposición es fácil de hacer: si el problema es la velocidad, entonces amplía lo más rápido que ya tienes.

Esa lógica se sostiene bastante bien hasta que entra la IA en escena y empieza a empujar a la DRAM hacia un papel para el que nunca fue realmente diseñada. El problema no es que la DRAM se haya vuelto de repente lenta, obsoleta o de algún modo menos útil que antes. El problema es que las cargas de trabajo de IA le están pidiendo mucho más que simplemente actuar como una capa rápida de trabajo entre compute y almacenamiento.

Para entender mejor el marco general detrás de este cambio, este artículo se conecta directamente con la pieza principal de esta serie: NAND no va a desaparecer, pero los servidores de IA ahora dependen de algo más que solo flash.

La DRAM fue construida para la velocidad, no para cargar con todo el sistema

Lo primero que hay que entender es que la DRAM siempre ha estado optimizada para la velocidad y la capacidad de respuesta, no para almacenar cantidades enormes de datos a gran escala. En la computación tradicional, esa diferencia rara vez era un problema porque la mayoría de las cargas de trabajo tenían una separación bastante clara entre los datos activos y los datos almacenados. El sistema mantenía en memoria lo que necesitaba de inmediato, traía el resto desde el almacenamiento cuando hacía falta y esa transferencia normalmente era lo bastante buena como para que nadie pensara demasiado en ello.

La IA cambia ese equilibrio de forma bastante drástica. En lugar de trabajar con pequeños bloques de datos activos y seguir adelante, los modelos de IA tienden a volver una y otra vez sobre grandes conjuntos de datos, mover información en paralelo y mantener una parte mucho más grande del working set al alcance de la capa de compute durante períodos mucho más largos. Eso significa que ya no se le pide a la DRAM simplemente que conserve la tarea actual. Ahora se le pide ayudar a sostener una enorme masa de datos, en constante cambio, que el sistema quiere tener cerca prácticamente todo el tiempo.

Ese es un trabajo muy distinto.

Y esa es también la razón por la que las tecnologías por encima y alrededor de la DRAM se han vuelto más importantes. En el artículo anterior sobre qué es la High Bandwidth Memory y por qué la IA depende de ella, el enfoque estaba en mover una cantidad más pequeña de datos críticos extremadamente cerca del procesador para que la GPU siga alimentada. Ese artículo deja claro que la proximidad importa, pero también revela silenciosamente el siguiente problema, porque una vez que el working set crece más allá de esa capa inmediata, el sistema todavía tiene que decidir dónde va a vivir todo lo demás.

La primera pared es el costo, y aparece muy rápido

Una de las razones por las que a la gente le gusta la idea de “simplemente agregar más DRAM” es que suena limpia y directa. En la práctica, se vuelve costosa muy rápido. La DRAM simplemente no tiene el mismo precio que NAND y, en cuanto empiezas a escalar sistemas al terreno de la IA, ya no estás hablando de agregar un poco más de memoria a un servidor. Estás hablando de cientos de gigabytes, a veces mucho más, repartidos entre muchos nodos, racks y clústeres.

En ese punto, la DRAM deja de sentirse como una mejora de rendimiento y empieza a parecer una carga de infraestructura. La curva de costos no sube suavemente. Sube con suficiente rapidez como para que la idea de usar DRAM para resolver todos los problemas de localidad de datos empiece a desmoronarse bajo su propia economía.

Esa es una de las razones por las que la pila de memoria se está volviendo más profunda en lugar de más simple. La industria no se está alejando de la DRAM porque haya dejado de ser valiosa. Se está alejando de la suposición de que la DRAM sola puede ser la respuesta a todos los problemas sensibles a la latencia a escala de IA.

La segunda pared es la energía, y ese problema nunca duerme

Incluso si el costo fuera más fácil de justificar, la DRAM todavía tropieza con otro problema que se vuelve imposible de ignorar una vez que los sistemas alcanzan cierto tamaño, y ese problema es la energía. La DRAM debe mantenerse constantemente alimentada para conservar su estado. Eso es simplemente parte de la tecnología. Así que, cuanto más agregas, más energía consume el sistema solo para mantener esos datos ahí, listos para usarse.

En entornos pequeños, esa sobrecarga puede parecer aceptable. En sistemas de IA densos que funcionan de manera continua, empieza a convertirse en un problema operativo importante. Más DRAM significa más consumo eléctrico, más calor, más refrigeración y más presión de diseño sobre toda la plataforma. De pronto, la decisión ya no trata solo de capacidad de memoria. Trata de límites térmicos, eficiencia del centro de datos y de si la infraestructura de soporte puede absorber el costo de mantener viva tanta memoria activa las veinticuatro horas del día.

Aquí es también donde el papel de las capas intermedias empieza a tener más sentido. En la entrega anterior sobre Storage Class Memory, la capa que falta entre DRAM y NAND, la idea no era reemplazar la DRAM, sino aliviar parte de la presión sobre ella introduciendo una capa que mantenga más datos cerca del compute sin obligar a que todo termine en el nivel más costoso y más hambriento de energía.

Luego está la realidad física de la proximidad

Hay otra razón por la que la DRAM no escala infinitamente bien en los sistemas de IA, y tiene menos que ver con el presupuesto y más con la física. La DRAM aporta valor en parte porque se encuentra relativamente cerca del procesador. Cuanto más cerca está la memoria del compute, menor suele ser la latencia y más ágil se siente el sistema en general. Pero la proximidad no es algo que puedas expandir para siempre sin consecuencias.

Existen límites físicos a la cantidad de memoria que puede colocarse cerca de una CPU o GPU antes de que la complejidad del diseño, la longitud de las trazas, la integridad de la señal y las restricciones de encapsulado empiecen a jugar en tu contra. Esa es exactamente la razón por la que apareció el empaquetado avanzado de memoria en primer lugar. La HBM existe porque la colocación tradicional de la DRAM solo puede llegar hasta cierto punto, y una vez que el lado de compute se vuelve lo bastante rápido, esas distancias y esos recorridos empiezan a importar más de lo que importaban antes.

Pero la HBM tampoco es una respuesta completa en términos de capacidad. Ofrece un ancho de banda increíble, pero no un volumen ilimitado. Así que el sistema termina viviendo en un equilibrio constante entre lo que puede colocarse muy cerca y lo que tiene que permanecer más lejos. Las cargas de trabajo de IA tensan ese equilibrio mucho más de lo que jamás lo hicieron los sistemas convencionales.

La IA hace que los pequeños retrasos salgan caros

Una de las cosas más interesantes de la infraestructura de IA es que expone ineficiencias que las cargas de trabajo más antiguas podían ocultar casi por completo. En un sistema más tradicional, un pequeño retraso en el acceso a los datos quizá no signifique gran cosa. El procesador espera un poco, la tarea termina un poco más tarde y el usuario ni se entera. Los sistemas de IA son mucho menos tolerantes porque operan con muchísimo paralelismo y con una enorme cantidad de dinero atada a la capa de compute.

Si una GPU no recibe los datos cuando los necesita, eso no es solo una molestia técnica. Es tiempo muerto costoso. Multiplica eso por muchos aceleradores funcionando en paralelo y hasta retrasos muy pequeños empiezan a aparecer como pérdidas reales de utilización.

Eso cambia el objetivo. El objetivo no es simplemente tener memoria rápida. El objetivo es mantener una entrega de datos lo bastante consistente, a una escala lo bastante grande, como para mantener ocupadas todo el tiempo las partes más caras del sistema. Ese es un requisito mucho más duro, y es exactamente por eso que la DRAM sola empieza a parecer insuficiente una vez que la infraestructura de IA crece más allá de cierto punto.

La analogía del almacén sigue funcionando, solo que ahora es más grande

Si seguimos usando la misma analogía del almacén de los artículos anteriores, la DRAM sigue siendo el muelle de carga. Es donde ocurre el trabajo activo, donde los elementos se abren, se clasifican y se mueven hacia el uso inmediato. Durante años, ese modelo funcionó bien porque la cantidad de actividad en el muelle era manejable y el sistema no exigía que todo estuviera preparado ahí al mismo tiempo.

La IA cambia la escala de toda la operación. Ahora se espera que el muelle soporte un flujo casi constante de material, con mucha más actividad ocurriendo en paralelo y con mucha menos tolerancia al retraso. En algún punto, incluso el mejor muelle de carga no puede seguir creciendo sin más. Solo hay cierto espacio, solo cierto número de movimientos paralelos que pueden ocurrir con eficiencia y solo cierta cantidad de inventario que puedes mantener directamente en el punto de uso antes de que el propio diseño se convierta en parte del problema.

Así que la respuesta no es hacer el muelle infinitamente más grande. La respuesta es rediseñar el flujo de trabajo alrededor de él.

Ahí es donde el resto de la jerarquía de memoria empieza a ganarse su lugar. La HBM mantiene los datos más sensibles al tiempo justo al lado del procesador. La Storage Class Memory ayuda a suavizar la transición entre la memoria activa y el almacenamiento más lento. Y en el artículo más reciente sobre por qué los sistemas modernos de inteligencia artificial consumen tanta memoria, el enfoque se desplazó hacia cómo también se está rediseñando el lado del almacenamiento para que pueda participar de forma más inteligente en alimentar al sistema.

Ninguna de esas capas existe porque la DRAM haya fallado. Existen porque la IA ya superó la idea de que una sola capa rápida pudiera cargar por sí sola con toda la carga de trabajo.

Lo que esto realmente significa para la pila de memoria de la IA

La verdadera conclusión aquí no es que la DRAM vaya a desaparecer, porque claramente no es así. La DRAM sigue siendo una de las partes más importantes de toda la pila. Lo que está cambiando es su papel. En vez de ser el lugar donde se supone que vive todo lo activo, la DRAM se está convirtiendo en el lugar donde viven los datos más urgentes y más sensibles al tiempo, mientras otras capas se encargan de la creciente carga de escala, costo y capacidad.

Ese es un cambio sutil, pero importante. Significa que la infraestructura de IA se está alejando de la vieja idea de un modelo simple de dos capas – memoria aquí, almacenamiento allá – y se está moviendo hacia algo mucho más matizado, donde a cada tecnología se le pide manejar la parte de la carga de trabajo para la que está mejor adaptada.

Dicho de forma simple, la DRAM sigue siendo esencial, pero por sí sola ya no basta. La IA ha cambiado el tamaño del working set, la velocidad del compute, el costo del retraso y la economía de mantenerlo todo cerca. Cuando todo eso cambia al mismo tiempo, la jerarquía de memoria también tiene que cambiar con ello.

Hacia dónde lleva esto después

Una vez que aceptas que la DRAM no puede estirarse lo suficiente como para contener todo lo que la IA quiere cerca del compute, la siguiente pregunta se vuelve bastante obvia. ¿Dónde vive realmente el resto de esos datos, especialmente cuando la cantidad de información involucrada es demasiado grande como para justificar mantenerla en memoria?

Ahí es donde la conversación vuelve a girar, y una tecnología que mucha gente supone que ya quedó relegada empieza a importar de una manera sorprendentemente importante. Porque, mientras la DRAM lucha con la escala y el flash sigue arrastrando sus propias compensaciones de costo y latencia, los discos duros siguen ofreciendo algo que el resto de la pila no puede reemplazar fácilmente: capacidad práctica a volumen masivo.

Y exactamente por eso la próxima parte de esta serie tendrá que examinar por qué los discos duros siguen siendo críticos para la infraestructura de IA.

La infraestructura de IA tiene una forma muy particular de dejar al descubierto límites que la mayoría de los sistemas nunca llegan a encontrar.

En los artículos anteriores vimos cómo la high bandwidth memory para cargas de trabajo de IA mantiene los datos lo más cerca posible de la GPU, y cómo la storage class memory entre DRAM y NAND ayuda a suavizar la brecha entre la memoria activa y el almacenamiento flash tradicional. Ambas capas existen porque el sistema no puede darse el lujo de esperar, ni siquiera por períodos cortos de tiempo, sin perder eficiencia.

Pero hay otra dirección hacia la que se está moviendo la industria, y no implica introducir un tipo de memoria completamente nuevo.

Más bien, se trata de tomar algo que ya existe, la memoria flash NAND, y empujarla hacia un papel para el que originalmente no fue diseñada.

Ahí es donde la idea de High Bandwidth Flash empieza a entrar en la conversación.

El problema que la NAND nunca estuvo pensada para resolver

La memoria flash NAND siempre se ha construido alrededor de una idea sencilla: almacenar una gran cantidad de datos de forma eficiente y recuperarlos cuando sea necesario.

Para la mayoría de las cargas de trabajo, ese modelo funciona perfectamente bien. Los datos permanecen en el almacenamiento, el sistema los solicita y el SSD los entrega con suficiente rapidez como para que casi nadie note realmente la demora.

Las cargas de trabajo de IA cambian esa dinámica.

En lugar de lecturas y escrituras ocasionales, estos sistemas están extrayendo datos en paralelo de forma constante, a menudo a través de miles de hilos, con muy poca tolerancia a cualquier inconsistencia en la entrega. No se trata solo de velocidad de manera aislada, sino de mantener un flujo constante de datos que mantenga el lado de cómputo totalmente aprovechado.

Ahí es donde el comportamiento tradicional de la NAND empieza a mostrar sus límites.

Incluso las unidades NVMe de alto rendimiento, con colas profundas y cifras sólidas de rendimiento, siguen operando dentro de un modelo de almacenamiento que asume ráfagas de actividad, no un flujo continuo de acceso parecido a la memoria.

Así que la pregunta pasa a ser esta: ¿qué sucede si dejas de tratar la NAND como almacenamiento y empiezas a tratarla más como parte del sistema de memoria?

Qué significa realmente “High Bandwidth Flash”

High Bandwidth Flash no es un estándar formal ni una sola categoría de producto.

Se entiende mejor como una dirección arquitectónica, y ahí es donde empieza a separarse de lo que cubrimos en High Bandwidth Memory.

La High Bandwidth Memory sigue siendo memoria. Es DRAM, construida y ubicada para ofrecer un acceso extremadamente rápido al estar físicamente cerca del procesador. Todo el sentido de HBM es la proximidad y la reducción de la latencia, llevar los datos lo más cerca posible del cómputo para que puedan ser accedidos casi al instante.

High Bandwidth Flash está resolviendo un problema diferente. Acepta que la NAND está más lejos dentro del sistema y que arrastra una latencia más alta, y en cambio se enfoca en cómo mover cantidades mucho mayores de datos en paralelo para que esa distancia importe menos.

En términos simples, HBM consiste en hacer que la memoria sea más rápida acercándola. High Bandwidth Flash consiste en hacer que el almacenamiento se comporte más rápido cambiando la manera en que se accede a él.

Esa distinción importa, porque el objetivo aquí no es convertir la NAND en DRAM. Es hacer que la NAND sea útil en situaciones donde el almacenamiento tradicional, de otro modo, ralentizaría el sistema.

El cambio ocurre a nivel de sistema, no solo a nivel del medio.

En lugar de un solo SSD atendiendo solicitudes de la forma tradicional, empiezas a ver muchos canales NAND operando en paralelo, controladores diseñados para concurrencia más que solo para capacidad, rutas de datos más amplias a través de interfaces PCIe Gen5 y Gen6, y capas de software que anticipan y preparan los datos antes de que se soliciten.

Tomados en conjunto, estos cambios no eliminan la latencia inherente de la NAND, pero sí reducen la frecuencia con la que esa latencia se convierte en el factor limitante dentro del sistema.

Una forma distinta de pensar en el ancho de banda

Cuando la gente escucha “alto ancho de banda”, normalmente asume que se trata de velocidad bruta.

Pero en este contexto, el ancho de banda en realidad tiene más que ver con cuántos datos se pueden mover al mismo tiempo y con qué consistencia puede mantenerse ese movimiento.

Las cargas de trabajo de IA no solo necesitan acceso rápido, necesitan acceso predecible a escala.

Si un clúster de GPU está extrayendo datos de forma desigual, incluso pequeñas variaciones pueden hacer que partes del sistema se detengan. Multiplica eso por cientos o miles de nodos, y esas ineficiencias empiezan a aparecer de maneras que se vuelven difíciles de ignorar.

High Bandwidth Flash es un intento de suavizar todo eso, no eliminando las características de la NAND, sino rodeándola con suficiente paralelismo e inteligencia para que esas características pesen menos en el sistema en su conjunto.

Extendiendo la analogía del almacén

Si seguimos usando el mismo modelo de almacén de los artículos anteriores, la NAND siempre ha sido el piso principal de almacenamiento.

Es donde vive todo, organizado en filas y estantes, optimizado para densidad y eficiencia más que para velocidad de acceso.

La DRAM es el muelle de carga, donde ocurre el trabajo activo. La SCM es el área de preparación justo detrás.

High Bandwidth Flash cambia la forma en que opera el almacén.

En lugar de un solo trabajador entrando en los pasillos para recoger artículos uno por uno, ahora tienes varios muelles de carga abiertos al mismo tiempo, varios montacargas moviéndose en paralelo, y artículos preposicionados según lo que el sistema espera necesitar después.

El almacén no ha cambiado en lo fundamental, pero sí ha cambiado la manera en que se accede a él.

No estás convirtiendo el almacén en el muelle de carga, estás haciendo que el almacén se comporte como si estuviera mucho más cerca de él.

Cómo se está construyendo esto en la práctica

La mayor parte de lo que permite High Bandwidth Flash no proviene de la propia NAND, sino de las capas que la rodean.

Los controladores ahora desempeñan un papel más importante en la forma en que se distribuyen los datos, centrándose en operaciones paralelas a través de múltiples dies y canales NAND en lugar de simplemente gestionar capacidad y desgaste. Al mismo tiempo, el ancho de banda de las interfaces sigue expandiéndose, dando a estos sistemas más margen para mover datos sin quedar limitados por el bus.

Lo que marca la mayor diferencia, sin embargo, es cómo interactúa el software con el hardware.

Los datos ya no se recuperan solo cuando se solicitan. Se predicen, se preparan, se almacenan en caché y se organizan de maneras que encajan con la forma en que se comportan las cargas de trabajo de IA. Eso significa anticipar patrones de acceso, mantener los datos usados con más frecuencia más cerca de la parte superior del stack y minimizar cuántas veces el sistema tiene que volver a rutas más lentas.

Nada de esto convierte a la NAND en memoria verdadera, pero sí le permite participar en el sistema de memoria de una forma más activa que antes.

Lo que todavía no es

Con todo este avance, es importante mantener las expectativas bien aterrizadas.

High Bandwidth Flash no hace que la NAND sea equivalente a la DRAM. Sigue estando basada en bloques, sigue teniendo una latencia mayor que cualquier forma de memoria real y sigue dependiendo en gran medida de controladores y software para rendir bien en entornos exigentes.

Esas limitaciones no desaparecen, simplemente se gestionan de forma más eficaz mediante el diseño del sistema.

Dónde encaja esto en la infraestructura de IA

En despliegues del mundo real, High Bandwidth Flash está apareciendo en sistemas que necesitan manejar conjuntos de datos extremadamente grandes sin empujar todo hacia niveles de memoria costosos.

Lo que esto realmente se ve en la práctica es un sistema que se apoya en la NAND de forma más activa que antes, no solo como un lugar donde se almacenan los datos, sino como parte de la ruta de datos de trabajo que alimenta los recursos de cómputo de una manera más continua.

En entornos de inferencia a gran escala, por ejemplo, los modelos y los datos de contexto a menudo superan lo que de forma realista cabe dentro de la DRAM. En lugar de forzarlo todo a la memoria, el sistema depende del acceso de alto rendimiento a la NAND, permitiendo que los datos fluyan lo suficientemente rápido como para comportarse más como una extensión de la memoria que como almacenamiento tradicional.

En entornos de entrenamiento, donde los conjuntos de datos se revisitan y procesan constantemente en paralelo, el objetivo cambia hacia mantener un flujo estable en lugar de manejar ráfagas aisladas. High Bandwidth Flash respalda eso manteniendo múltiples rutas de datos activas al mismo tiempo, reduciendo la posibilidad de que una sola solicitud se convierta en un cuello de botella.

Incluso en sistemas distribuidos con NVMe fabric, la idea sigue siendo la misma. Los datos están repartidos entre muchos dispositivos y nodos, pero se accede a ellos de forma coordinada, enfatizando el rendimiento sostenido y la disponibilidad por encima de la simple capacidad de almacenamiento. La NAND sigue haciendo el mismo trabajo fundamental, pero la forma en que el sistema interactúa con ella es mucho más dinámica de lo que solía ser.

El resultado final es que la NAND deja de comportarse como una capa distante en la parte inferior del stack y empieza a sentirse como parte del sistema activo, aunque nunca llegue por completo a las características de rendimiento de la memoria.

Por qué importa esta dirección

Si das un paso atrás y observas lo que está ocurriendo a lo largo de estos tres artículos, empieza a aparecer un patrón.

HBM acerca la memoria al cómputo. SCM reduce la brecha entre memoria y almacenamiento. High Bandwidth Flash empuja el almacenamiento más cerca de la memoria.

Todo está convergiendo hacia el mismo objetivo: reducir qué tan lejos tienen que viajar los datos y cuánto tiempo tiene que esperar el sistema por ellos.

Volviendo al panorama general

La NAND no va a desaparecer.

Si acaso, se está volviendo más importante, porque la cantidad total de datos que estos sistemas necesitan sigue creciendo.

Lo que está cambiando es cómo se está usando la NAND.

Ya no es solo una capa pasiva en la parte inferior del stack. Está siendo arrastrada hacia arriba, integrada más estrechamente y obligada a comportarse de maneras que se parecen cada vez más a la memoria, aunque nunca llegue a convertirse completamente en ella.

Ese cambio es exactamente lo que señalamos en la pieza original: la industria no reemplazó la NAND, construyó a su alrededor.

Qué viene después

A partir de aquí, el stack sigue evolucionando en ambas direcciones.

Arriba, la memoria se vuelve más rápida y más especializada. Abajo, el almacenamiento se vuelve más inteligente y más integrado. Y en algún punto en medio, la línea entre ambos sigue haciéndose cada vez más difícil de definir.

En la próxima entrega veremos cómo los sistemas de IA manejan los datos de trabajo en tiempo real y por qué conceptos como contexto y KV cache están empezando a influir en la forma en que memoria y almacenamiento se diseñan juntos.

Nota editorial

La perspectiva, la dirección y el enfoque técnico de este artículo fueron guiados por el autor, a partir de los temas específicos explorados a lo largo de la pieza y de la conversación más amplia sobre cómo la NAND está siendo empujada más cerca de la capa de memoria en la infraestructura de IA.

La IA se utilizó como asistente de redacción para ayudar con el ritmo, el flujo de las oraciones y la organización estructural, pero la dirección del tema, las comparaciones y la intención editorial final fueron determinadas por el autor.

La imagen que acompaña el artículo también fue creada con IA, no como una imagen genérica de stock, sino como una ilustración diseñada específicamente para reflejar conceptos propios del artículo que son difíciles de comunicar con imágenes convencionales, en particular la idea de que la memoria flash NAND se comporta más como una capa activa y adyacente a la memoria dentro de una arquitectura moderna de datos.

Todo el contenido fue revisado, refinado y aprobado por el autor antes de su publicación.