Huawei desveló un nuevo modelo de sistema de almacenamiento de inteligencia artificial (IA), el OceanStor A310, en GITEX GLOBAL 2023 la semana pasada, un intento de abordar algunos de los grandes retos de modelos de la industria. Diseñado para la era de los grandes modelos de IA, el OceanStor A310 pretende ser una solución de almacenamiento para el entrenamiento de modelos básicos, el entrenamiento de modelos de la industria y la inferencia en modelos de escenarios segmentados.
Imagine el OceanStor A310 como un bibliotecario ultraeficiente en una enorme biblioteca digital, que recupera rápidamente fragmentos de información. En comparación, otro sistema, el ESS 3500 de IBM, es un bibliotecario más lento. Cuanto más rápido recupera la información el OceanStor A310, más rápido funcionan las aplicaciones de inteligencia artificial, que toman decisiones inteligentes en el momento oportuno. Es esta velocidad de acceso a la información lo que distingue al OceanStor A310 de Huawei.
La ventaja del OceanStor A310 parece residir en su capacidad para acelerar el procesamiento de datos para la IA. En comparación con el ESS 3500 de IBM, la última matriz basada en flash de Huawei ofrece casi cuatro veces más velocidad que las GPU Nvidia por rack. Con una metodología que utiliza la tecnología Magnum GPU Direct de Nvidia, los datos se transfieren directamente del recurso de almacenamiento NVMe a la GPU sin la intervención del sistema host de almacenamiento.
Huawei OceanStor A310 demostró un rendimiento de hasta 400 GB/s de lectura secuencial y 208 GB/s de escritura secuencial. Sin embargo, el impacto de los marcos de código abierto y cerrado en estas cifras sigue sin estar claro.
Profundizando en el mecanismo de funcionamiento, el OceanStor A310 está diseñado como una solución de almacenamiento de lago de datos de aprendizaje profundo que potencialmente puede ofrecer escalabilidad horizontal ilimitada y alto rendimiento para cargas de trabajo mixtas.
«Sabemos que para las aplicaciones de IA, el mayor desafío es mejorar la eficiencia de entrenamiento de los modelos de IA», dijo Evangeline Wang, portavoz del departamento de gestión de productos y marketing de Huawei, en un comunicado distribuido por la publicación tecnológica Blocks and Files. «El mayor reto para el sistema de almacenamiento durante el entrenamiento de IA es alimentar constantemente de datos a la CPU y la GPU», añadió. «Esto requiere que el sistema de almacenamiento maximice el rendimiento».
Para hacer frente a este desafío, cada OceanStor puede soportar hasta 96 SSD NVMe, procesadores y memoria caché. Los usuarios pueden agrupar hasta 4096 dispositivos A310, compartiendo un sistema de archivos global que admite protocolos de aplicación estándar. El OceanStor A310 tiene como objetivo minimizar el tiempo de transferencia de datos mediante el uso de SmartNICs y un diseño masivamente paralelo.
«El A310 de Huawei, con sus pequeños nodos, demostró ser el más rápido tanto en lectura como en escritura secuencial: su rendimiento de escritura/lectura secuencial fue de 41,6/80 GB/s frente a los 30/63 GB/s de IBM», según el estudio Block and Files, que comparó la solución de Huawei con la de sus competidores directos.
Imagen: Blocks and Files
La presentación del OceanStor A310 llega en un momento en que la industria de la IA busca soluciones eficientes de almacenamiento y procesamiento. Los esfuerzos de Huawei abordan algunos de los retos existentes y podrían ayudar a optimizar el entrenamiento de los modelos de IA.
Sin embargo, las sanciones de EE.UU. contra Huawei -principalmente por motivos de seguridad nacional y por los supuestos vínculos de la empresa con el gobierno chino- añaden más complejidad al proyecto de Huawei de crear soluciones de almacenamiento basadas en IA.
Las implicaciones potenciales del OceanStor A310 de Huawei podrían ser significativas. Al ofrecer una solución que aborda algunas de las deficiencias existentes en el almacenamiento y procesamiento de datos, Huawei está intentando desafiar a otros proveedores y empujar a la industria de la IA hacia una nueva era de posible innovación y eficiencia.
