Суперкомпьютер Eos от NVIDIA установил новый рекорд в области обучения искусственного интеллекта, демонстрируя значительные достижения в вычислительных технологиях. Вот перефразированный перевод оригинальной статьи: NVIDIA недавно представила новую версию своего суперкомпьютера Eos, который демонстрирует выдающуюся эффективность в обучении масштабных моделей ИИ. Оснащённый более чем 10 000 GPU H100 Tensor Core, Eos может обучить модель GPT-3 с 175 миллиардами параметров, используя 1 миллиард токенов, менее чем за четыре минуты, утраивая скорость предыдущего рекорда.
Суперкомпьютер состоит из 10 752 GPU и 860 терабайтов высокоскоростной памяти, предлагая поразительные 40 эксафлопс мощности ИИ через облачную архитектуру из 1344 узлов. В серии тестов NVIDIA установила шесть рекордов в различных моделях, включая времена обучения для GPT-3, Stable Diffusion, DLRM, RetinaNet, 3D U-Net и BERT-Large.
Стоит отметить, что модель GPT-3, использованная для тестирования, была масштабированной версией с таким же количеством параметров, но меньшим набором данных для практичности. Улучшенная производительность достигнута за счет увеличения количества GPU H100 и оптимизации программного обеспечения, сохраняя высокую эффективность несмотря на масштабирование инфраструктуры.
Усилия NVIDIA нашли отклик в команде Microsoft Azure, которая достигла аналогичных результатов со своей системой. Это сотрудничество подчеркивает коммерческую доступность и практическое применение таких мощных вычислительных систем. NVIDIA планирует использовать эту расширенную вычислительную мощность для различных задач, включая разработку основных моделей, ИИ-помощь в проектировании GPU, нейронное рендеринг и системы автономного вождения.
