En cuanto empiezas a fijarte en cómo los sistemas de IA están moviendo realmente los datos, te das cuenta bastante rápido de que el problema no es solo tener procesadores más rápidos o más almacenamiento, sino qué ocurre entre esas capas y cuántas veces el sistema se ve obligado a esperar.

En el artículo anterior sobre High Bandwidth Memory, el enfoque estaba en mantener los datos lo más cerca posible del procesador para que la GPU no se quede parada. Esa es la parte superior de la pila y es fundamental, pero solo resuelve una parte del problema, porque no todo puede vivir ahí.

En cuanto el conjunto de trabajo crece más allá de lo que cabe en ese nivel inmediato, vuelves a mover datos entre DRAM y NAND, y es ahí donde todo empieza a sentirse desequilibrado. La DRAM es rápida y responde bien, pero es cara y no se puede escalar sin límite. El NAND es mucho más práctico en términos de capacidad, pero incluso un buen flash introduce suficiente latencia como para que se note cuando el sistema está bajo carga constante.

Ese espacio intermedio es donde Storage Class Memory empieza a tener sentido. No como algo nuevo que sustituya a uno de los dos lados, sino como una forma de suavizar el paso de uno a otro para que el sistema no esté saltando continuamente entre muy rápido y claramente más lento.

Si quieres ver el contexto completo de por qué están apareciendo estas capas, esto conecta directamente con el artículo principal aquí: NAND no va a desaparecer, pero los servidores de IA ahora dependen de algo más que solo flash.

Durante más de dos décadas, GetUSB ha estado analizando cómo se mueve realmente la información, no solo cómo se presenta en marketing. En ese tiempo, hemos visto cómo el almacenamiento ha evolucionado a través de varios ciclos, desde la caída de los discos mecánicos hasta el auge del flash, y más recientemente hacia sistemas donde el almacenamiento ya no es solo un componente pasivo, sino parte activa de la infraestructura.

Lo que está ocurriendo ahora con la infraestructura de IA se siente como otro de esos puntos de transición, pero impulsado por un tipo de presión diferente.

La memoria NAND no va a desaparecer, y realmente no hay discusión sobre eso. Sigue siendo la base del almacenamiento moderno, y hace ese trabajo extremadamente bien. Al mismo tiempo, la demanda de NAND ha ido aumentando rápidamente, en gran parte debido a las cargas de trabajo de IA que requieren conjuntos de datos enormes y acceso constante a ellos. Esa demanda está empezando a chocar con la oferta de formas que cada vez son más difíciles de ignorar, ya sea en forma de presión en precios, asignaciones más ajustadas o simplemente tiempos de entrega más largos para grandes implementaciones.

Cuando este tipo de desequilibrio empieza a aparecer, la industria no se queda quieta esperando a que todo se normalice. Empieza a buscar otras formas de resolver el problema, y ahí es donde las cosas comienzan a cambiar.