En cuanto empiezas a fijarte en cómo los sistemas de IA están moviendo realmente los datos, te das cuenta bastante rápido de que el problema no es solo tener procesadores más rápidos o más almacenamiento, sino qué ocurre entre esas capas y cuántas veces el sistema se ve obligado a esperar.

En el artículo anterior sobre High Bandwidth Memory, el enfoque estaba en mantener los datos lo más cerca posible del procesador para que la GPU no se quede parada. Esa es la parte superior de la pila y es fundamental, pero solo resuelve una parte del problema, porque no todo puede vivir ahí.

En cuanto el conjunto de trabajo crece más allá de lo que cabe en ese nivel inmediato, vuelves a mover datos entre DRAM y NAND, y es ahí donde todo empieza a sentirse desequilibrado. La DRAM es rápida y responde bien, pero es cara y no se puede escalar sin límite. El NAND es mucho más práctico en términos de capacidad, pero incluso un buen flash introduce suficiente latencia como para que se note cuando el sistema está bajo carga constante.

Ese espacio intermedio es donde Storage Class Memory empieza a tener sentido. No como algo nuevo que sustituya a uno de los dos lados, sino como una forma de suavizar el paso de uno a otro para que el sistema no esté saltando continuamente entre muy rápido y claramente más lento.

Si quieres ver el contexto completo de por qué están apareciendo estas capas, esto conecta directamente con el artículo principal aquí: NAND no va a desaparecer, pero los servidores de IA ahora dependen de algo más que solo flash.