GetUSB no se está convirtiendo en un sitio web sobre inteligencia artificial. Ya hay bastantes de esos, y la mayoría de los días probablemente el mundo no necesita otro artículo explicando que la IA va a cambiarlo todo.
Lo que sí nos ha llamado la atención es algo un poco más práctico.
Cuanto más profundizas en cómo funciona realmente la inteligencia artificial, más familiar empieza a sonar la conversación. El ancho de banda de la memoria importa. El almacenamiento importa. La memoria NAND flash importa. La DRAM importa. PCIe importa. Mover enormes cantidades de datos de un lugar a otro importa. Son temas que llevamos años siguiendo, mucho antes de que cada anuncio de producto necesitara incluir las letras “IA” en algún lugar del primer párrafo.
Durante los últimos meses hemos escrito varios artículos analizando la IA desde esa perspectiva del hardware. En lugar de perseguir cada nuevo modelo o anuncio de software, nos ha interesado más entender qué tiene que suceder debajo de todo eso para que funcione.
Mirando hacia atrás, hay ocho artículos en particular que encajan sorprendentemente bien entre sí.
Aceleradores de IA portátiles vs IA en la nube: ¿qué deberían elegir realmente las pequeñas empresas?
Uno de los cambios más interesantes en la IA es que ejecutar una carga de trabajo de inteligencia artificial ya no significa automáticamente enviar todo a un enorme centro de datos. Los aceleradores de IA más pequeños están haciendo que la inferencia local sea práctica para aplicaciones que no necesitan la potencia de un gigantesco modelo basado en la nube.
En nuestro artículo sobre aceleradores de IA portátiles frente a la IA en la nube, analizamos las compensaciones entre ambos enfoques. La IA en la nube ofrece enormes recursos de cómputo, pero la IA local también aporta algunas ventajas interesantes, entre ellas privacidad, costos operativos previsibles, menor latencia y la posibilidad de seguir trabajando sin una conexión a Internet.
El punto importante no es que un enfoque gane sobre el otro. Lo que está ocurriendo es que el procesamiento de IA empieza a distribuirse. Algunas tareas pertenecen a la nube. Otras tienen mucho más sentido en una computadora local o en un dispositivo edge.
Dentro de una computadora de IA: por qué los sistemas modernos de inteligencia artificial consumen tanta memoria
Una GPU suele llevarse casi toda la atención en una computadora de IA, pero un procesador potente no sirve de mucho si pasa buena parte del tiempo esperando datos.
Eso nos llevó a mirar dentro de una computadora de IA y explicar por qué los sistemas modernos de inteligencia artificial consumen tanta memoria. Los modelos de IA contienen cantidades enormes de parámetros, y esos parámetros tienen que almacenarse, cargarse y moverse por el sistema mientras se realizan los cálculos.
Este es uno de los temas que aparecen una y otra vez cuando se habla de hardware para IA. La potencia de cómputo ha aumentado de forma espectacular, pero alimentar esa potencia con suficientes datos se ha convertido en un problema por sí mismo. El procesador puede ser perfectamente capaz de hacer el trabajo, pero solo si el resto del sistema puede seguirle el ritmo.
La NAND no va a desaparecer, pero los servidores de IA ahora dependen de algo más que solo flash
Dado nuestro historial, la memoria NAND flash era un lugar bastante lógico para empezar a investigar.
La IA no está volviendo obsoleta a la NAND. Todo lo contrario. Los modelos, los datos de entrenamiento, las bases de datos y la información generada necesitan almacenamiento persistente, y la memoria flash sigue siendo extremadamente importante. Pero los servidores de IA ahora dependen de mucho más que la memoria NAND flash, porque la capacidad de almacenamiento es solo una parte del problema.
Un SSD puede guardar una cantidad enorme de información, pero el procesador no puede realizar cálculos directamente y a máxima velocidad sobre todo lo que está almacenado en ese SSD. Los datos tienen que moverse a través de distintos niveles de la jerarquía de memoria, y cada nivel tiene su propio equilibrio entre capacidad, velocidad y costo.
La IA ha hecho que esa jerarquía sea mucho más visible.
¿Qué es High Bandwidth Memory y por qué la IA depende de ella?
High Bandwidth Memory, normalmente abreviada como HBM, pasó de ser una tecnología de memoria bastante especializada a convertirse en algo que aparece constantemente en las conversaciones sobre hardware de IA.
Hay una buena razón para ello.
En nuestra explicación sobre qué es la High Bandwidth Memory y por qué la IA depende de ella, analizamos el problema que HBM está diseñada para resolver. Las GPU modernas pueden ejecutar una cantidad extraordinaria de cálculos, pero las arquitecturas de memoria convencionales pueden convertirse en un cuello de botella cuando esos procesadores necesitan recibir continuamente enormes cantidades de datos.
HBM coloca memoria extremadamente rápida muy cerca del procesador y ofrece un ancho de banda de memoria mucho mayor que las configuraciones convencionales. Es costosa y complicada, pero cuando intentas mantener un acelerador de IA constantemente alimentado con datos, el ancho de banda puede ser tan importante como la potencia bruta de procesamiento.
Piensa en ello como tener una fábrica muy rápida. Hacer que las máquinas dentro de la fábrica sean todavía más rápidas no sirve de mucho si el muelle de carga no puede entregar la materia prima con suficiente rapidez.
Por qué la DRAM sola ya no puede seguirle el ritmo a la IA
La DRAM tampoco va a desaparecer. Simplemente hay demasiados datos.
Analizamos este tema en por qué la DRAM sola ya no puede seguirle el ritmo a la IA, porque la solución obvia ante una falta de memoria parecería ser simplemente instalar más memoria. Por desgracia, a escala de IA eso se vuelve muy caro muy rápido y aun así no resuelve todos los problemas de ancho de banda y capacidad.
Aquí es donde las distintas capas del almacenamiento para IA empiezan a tener más sentido. HBM puede proporcionar un ancho de banda extraordinario muy cerca del procesador. La DRAM ofrece grupos más grandes de memoria de trabajo rápida. La NAND flash proporciona una capacidad persistente mucho mayor. Cada tecnología hace algo que las otras no pueden hacer de manera económicamente viable.
La IA no está sustituyendo un tipo de memoria por otro. En realidad, está obligando a las computadoras a utilizar más tipos de memoria al mismo tiempo.
Por qué los discos duros siguen siendo críticos para la infraestructura de IA
Esta quizá sea mi contradicción favorita de toda la historia del hardware para IA.
Pasamos muchísimo tiempo hablando de GPU increíblemente sofisticadas, HBM, almacenamiento NVMe y fabricación avanzada de semiconductores, y después, un poco más abajo en la cadena, seguimos encontrando una tecnología basada en platos magnéticos giratorios.
El disco duro sigue muy vivo.
En por qué los discos duros siguen siendo críticos para la infraestructura de IA, analizamos la enorme cantidad de información que las empresas de inteligencia artificial necesitan conservar. Los conjuntos de datos de entrenamiento, checkpoints de modelos, copias de seguridad, archivos históricos y otros grandes volúmenes de datos no tienen por qué estar todos almacenados en costosa memoria flash de alto rendimiento.
En algún momento, la economía toma el control.
Cuando almacenas información a escala de petabytes, el costo por terabyte se vuelve tremendamente importante. Los discos duros siguen siendo una de las formas más económicas de proporcionar enormes cantidades de almacenamiento en línea. La IA puede representar una de las tecnologías informáticas más avanzadas que jamás hayamos construido, pero aparentemente todavía necesita un armario realmente grande donde guardar todas sus cosas.
Por qué la IA está moviendo el procesamiento más cerca del almacenamiento
Durante décadas, la arquitectura normal de una computadora ha sido bastante sencilla: guardar los datos en algún lugar, moverlos a la memoria, enviarlos al procesador y hacer algo con ellos.
Eso funciona perfectamente hasta que la cantidad de datos que hay que mover se vuelve enorme.
Nuestro artículo sobre por qué la IA está moviendo el procesamiento más cerca del almacenamiento analiza una respuesta interesante a ese problema. En lugar de mover constantemente enormes conjuntos de datos de un lado a otro dentro del sistema, algunas arquitecturas están empezando a trasladar partes del procesamiento más cerca del lugar donde ya se encuentran los datos.
La lógica es sencilla. Mover datos consume tiempo, ancho de banda y energía. Si puedes reducir la distancia que tienen que recorrer esos datos, a veces puedes mejorar la eficiencia de todo el sistema sin limitarte a lanzar un procesador más rápido contra el problema.
Este es otro ejemplo de cómo la IA está cambiando la definición tradicional del rendimiento de una computadora. El componente más rápido no necesariamente es la respuesta. A veces la mejora más grande viene simplemente de mover menos datos.
KV cache: el depósito de memoria de IA que evita que las GPU se queden sin flujo
KV cache suena como uno de esos temas que se pueden ignorar tranquilamente, hasta que te das cuenta de que ayuda a explicar por qué la inferencia de IA puede consumir cantidades de memoria tan sorprendentes.
Cuando un modelo de lenguaje genera una respuesta, no quiere volver a calcular todo lo que ya procesó cada vez que produce el siguiente token. La KV cache funciona como un depósito de memoria, conservando información de cálculos anteriores para que el modelo pueda reutilizarla.
Eso es excelente para el rendimiento. Pero no es gratis.
A medida que las conversaciones se alargan y más usuarios interactúan con un modelo, los requisitos de la KV cache pueden crecer de manera espectacular. Una vez más llegamos al mismo problema del hardware para IA, solo que desde otra dirección: ¿dónde colocamos toda esa información y con qué rapidez podemos llevarla de vuelta al procesador?
La KV cache es un buen ejemplo de por qué mirar únicamente las especificaciones de una GPU no dice demasiado sobre el rendimiento de un sistema completo de IA.
Al parecer siempre terminamos volviendo a la memoria y al almacenamiento
Cuando escribimos estos artículos, no existía ningún plan para crear una serie de ocho partes sobre IA. Los temas simplemente seguían cruzándose con la tecnología que ya veníamos siguiendo.
Y quizá esa sea en realidad la parte interesante.
Quita los chatbots, las imágenes generadas y las predicciones futuristas, y la inteligencia artificial se convierte en un enorme problema de procesamiento de datos. Los datos tienen que almacenarse. Tienen que moverse. Tienen que colocarse en memoria. Tienen que llegar a los procesadores con suficiente rapidez para mantener ocupado un hardware extremadamente caro.
De repente, NAND, DRAM, HBM, discos duros, PCIe y arquitectura de almacenamiento ya no parecen temas secundarios. Forman parte de la maquinaria que hace posible la IA moderna.
Y últimamente hemos empezado a mirar incluso más allá del hardware.
Nuestro artículo más reciente, El mayor cuello de botella de la IA no es el software – son los electricistas, lleva la historia fuera del servidor. Construir infraestructura para IA requiere enormes cantidades de energía eléctrica, refrigeración y construcción física. Llega un momento en el que puedes tener las GPU, la memoria y el almacenamiento esperando en un muelle de carga y aun así seguir teniendo un problema: alguien tiene que construir la infraestructura necesaria para encender todo eso.
Probablemente esa sea la dirección que seguirá tomando nuestra cobertura sobre IA. No perseguir cada nuevo anuncio de inteligencia artificial, sino seguir los lugares donde la IA se encuentra con el almacenamiento, el hardware y las realidades físicas de la informática.
Porque esas suelen ser, de todos modos, las partes de la historia que más nos interesan.
