Los sistemas de inteligencia artificial no suelen ralentizarse por limitaciones de cálculo, sino porque el sistema no puede mover los datos lo suficientemente rápido como para mantener al procesador constantemente alimentado de información.

En otras palabras, el cuello de botella no está en la capacidad de procesar datos, sino en la capacidad de entregar esos datos a la velocidad que requieren las cargas de trabajo modernas de IA.

Aquí es donde la High Bandwidth Memory (HBM) se convierte en una parte importante de la arquitectura.

Para una visión más amplia de cómo la memoria está evolucionando más allá del flash y por qué los sistemas de IA ahora dependen de múltiples niveles, consulta nuestro análisis principal: NAND no va a desaparecer, pero los servidores de IA ahora dependen de algo más que solo flash.

Durante más de dos décadas, GetUSB ha estado analizando cómo se mueve realmente la información, no solo cómo se presenta en marketing. En ese tiempo, hemos visto cómo el almacenamiento ha evolucionado a través de varios ciclos, desde la caída de los discos mecánicos hasta el auge del flash, y más recientemente hacia sistemas donde el almacenamiento ya no es solo un componente pasivo, sino parte activa de la infraestructura.

Lo que está ocurriendo ahora con la infraestructura de IA se siente como otro de esos puntos de transición, pero impulsado por un tipo de presión diferente.

La memoria NAND no va a desaparecer, y realmente no hay discusión sobre eso. Sigue siendo la base del almacenamiento moderno, y hace ese trabajo extremadamente bien. Al mismo tiempo, la demanda de NAND ha ido aumentando rápidamente, en gran parte debido a las cargas de trabajo de IA que requieren conjuntos de datos enormes y acceso constante a ellos. Esa demanda está empezando a chocar con la oferta de formas que cada vez son más difíciles de ignorar, ya sea en forma de presión en precios, asignaciones más ajustadas o simplemente tiempos de entrega más largos para grandes implementaciones.

Cuando este tipo de desequilibrio empieza a aparecer, la industria no se queda quieta esperando a que todo se normalice. Empieza a buscar otras formas de resolver el problema, y ahí es donde las cosas comienzan a cambiar.