Миллиардер Илон Маск написал в своей соцсети Twitter/X о запуске мощнейшего учебного кластера искусственного интеллекта (ИИ) в мире. Этот кластер он использует для создания мощного в мире искусственного интеллекта по всем показателям. интеллект должен быть запущен до декабря этого года.
Сегодня Memphis Supercluster от xAI начал обучение ИИ с использованием 100 000 видеокарт Nvidia H100 с жидкостным охлаждением, подключенных к единой сети RDMA (прямой удаленный доступ к памяти).
То, что Маск лично щелкнул переключателем, чтобы запустить суперкластер, кажется маловероятным, поскольку отмечается, что он начал свою гигантскую задачу в 4:20 утра по центральному летнему времени, но, как вы видите ниже, он помог оптоволоконной технике.
В мае сообщалось об амбициях Маска открыть Gigafactory of Compute к осени 2025 года. В то время Маск поспешил приступить к работе над суперкластером, что требовало приобретения графических процессоров Hopper H100 текущего поколения.
Казалось, это сигнализирует о том, что технологическому магнату не хватило терпения дождаться чипов H200, не говоря уже о будущих графических процессорах B100 и B200 на базе Blackwell. Это, несмотря на ожидания, что новые графические процессоры для центров обработки данных Nvidia Blackwell будут доставлены до конца 2024 года.
Supermicro предоставила большую часть аппаратного обеспечения, и генеральный директор компании Чарльз Лианг также прокомментировал тему Маска, рекламируя исполнение команды.
В следующем твите Маск объясняет, что новый суперкластер будет обучать самый мощный в мире ИИ по всем показателям. Из предварительных заявлений о намерениях мощность 100 000 графических процессоров xAI H100 может быть направлена ??на обучение Grok 3. Маск сказал, что доработанная LLM должна быть завершена с этапом обучения «до декабря этого года».
Глядя на масштаб, новый xAI Memphis Supercluster легко превосходит что-либо из последнего списка Top500 с точки зрения мощности видеоядер. Самые мощные суперкомпьютеры мира, такие как Frontier (37888 графических процессоров AMD), Aurora (60000 графических процессоров Intel) и Microsoft Eagle (14400 графических процессоров Nvidia H100), кажется, значительно уступают xAI.
