На прошлой неделе на выставке GITEX GLOBAL 2023 компания Huawei представила новую модель системы хранения данных для искусственного интеллекта (ИИ) — OceanStor A310, что стало попыткой решить некоторые отраслевые проблемы, связанные с применением больших моделей. Модель OceanStor A310, разработанная для эпохи больших моделей искусственного интеллекта, призвана стать решением для хранения данных при обучении базовым моделям, обучении отраслевым моделям и выводу в сегментированных сценарных моделях.
Представьте себе OceanStor A310 в виде сверхэффективного библиотекаря в огромной электронной библиотеке, быстро извлекающего фрагменты информации. Для сравнения, другая система — ESS 3500 компанииIBM — является более медленным библиотекарем. Чем быстрее OceanStor A310 получает информацию, тем быстрее работают приложения искусственного интеллекта, своевременно принимая разумные решения. Именно эта скорость доступа к информации и отличает OceanStor A310 компании Huawei.
Преимущество OceanStor A310, по-видимому, заключается в его способности ускорять обработку данных для ИИ. По сравнению с ESS 3500 от IBM, новейший массив Huawei на флэш-памяти, как сообщается, обеспечивает почти четырехкратное ускорение работы графических процессоров Nvidia в расчете на одну стойку. В соответствии с методикой, использующей технологию Magnum GPU Direct от Nvidia, данные передаются непосредственно с ресурса NVMe-хранилища на GPU без участия хост-системы хранения данных.
Huawei OceanStor A310 продемонстрировал производительность до 400 ГБ/с при последовательном чтении и 208 ГБ/с при записи. Однако влияние на эти показатели фреймворков с открытым и закрытым исходным кодом остается неясным.
Погружаясь в механизм работы, можно сказать, что OceanStor A310 спроектирован как решение для хранения озер данных глубокого обучения, которое потенциально может предложить неограниченную горизонтальную масштабируемость и высокую производительность для смешанных рабочих нагрузок.
«Мы знаем, что для приложений искусственного интеллекта самой большой проблемой является повышение эффективности обучения моделей ИИ», — заявила Эванджелин Ванг, представитель отдела управления продуктами и маркетинга компании Huawei, в своем заявлении, распространенном техническим изданием Blocks and Files. «Самая большая проблема для системы хранения данных во время обучения ИИ — это постоянная подача данных на центральный и графический процессоры», — добавила она. «Это требует от системы хранения максимальной производительности».
Для решения этой задачи каждый OceanStor может поддерживать до 96 твердотельных накопителей NVMe, процессоры и кэш-память. Пользователи могут объединить в кластер до 4096 устройств A310, совместно используя глобальную файловую систему, поддерживающую стандартные протоколы для приложений. OceanStor A310 стремится минимизировать время передачи данных за счет использования SmartNIC и массивно-параллельной конструкции.
«Huawei A310 с его небольшими узлами оказался самым быстрым как при последовательном чтении, так и при записи: его пропускная способность при последовательной записи/чтении составила 41,6/80 ГБ/с против 30/63 ГБ/с у IBM». говорится в исследовании Block and Files, в котором решение Huawei сравнивалось с его прямыми конкурентами.
Image: Blocks and Files
Представление OceanStor A310 приходится на тот момент, когда индустрия искусственного интеллекта ищет эффективные решения для хранения и обработки данных. Усилия компании Huawei направлены на решение некоторых из существующих проблем и могут способствовать оптимизации процесса обучения моделей ИИ.
Однако санкции США в отношении компании Huawei- в первую очередь из-за опасений по поводу национальной безопасности и предполагаемых связей компании с китайским правительством добавляют дополнительные сложности в проект Huawei по созданию решений для хранения данных на основе ИИ.
Потенциальные последствия появления OceanStor A310 от Huawei могут быть весьма значительными. Предлагая решение, позволяющее устранить некоторые из существующих недостатков в хранении и обработке данных, компания Huawei пытается бросить вызов другим поставщикам и подтолкнуть индустрию искусственного интеллекта к новой эре возможных инноваций и эффективности.
