Ілон Маск хоче створити найпотужніший у світі штучний інтелект до грудня — система використовує 100 000 відеокарт

Мільярдер Ілон Маск написав у своїй соцмережі Twitter/X про запуск найпотужнішого навчального кластера штучного інтелекту (ШІ) у світі. Цей кластер він використає для створення найпотужнішого у світі штучного інтелекту за всіма показниками. інтелект мають запустити до грудня цього року.

«Сьогодні Memphis Supercluster від xAI розпочав навчання ШІ з використанням 100 000 відеокарт Nvidia H100 з рідинним охолодженням, підключених до єдиної мережі RDMA (прямий віддалений доступ до пам’яті).

Те, що Маск особисто клацнув перемикачем, щоб запустити суперкластер, здається малоймовірним, оскільки зазначається, що він розпочав своє гігантське завдання о 4:20 ранку за центральним літнім часом, але, як ви бачите нижче, він таки допоміг оптоволоконному техніку.

У травні повідомлялося про амбіції Маска відкрити Gigafactory of Compute до осені 2025 року. У той час Маск поспішив розпочати роботу над суперкластером, що потребувало придбання графічних процесорів Hopper H100 поточного покоління.

Здавалося, це сигналізує про те, що технологічному магнату не вистачило терпіння дочекатися чипів H200 , не кажучи вже про майбутні графічні процесори B100 і B200 на базі Blackwell. Це незважаючи на очікування, що нові графічні процесори для центрів обробки даних Nvidia Blackwell будуть доставлені до кінця 2024 року.

Supermicro надала більшу частину апаратного забезпечення, і генеральний директор компанії Чарльз Ліанг також прокоментував тему Маска, рекламуючи виконання команди.

У наступному твіті Маск пояснює, що новий суперкластер буде навчати найпотужніший у світі ШІ за всіма показниками. З попередніх заяв про наміри, потужність 100 000 графічних процесорів xAI H100 може бути спрямована на навчання Grok 3. Маск сказав, що доопрацьована LLM має бути завершена з етапом навчання «до грудня цього року».

Дивлячись на масштаб, новий xAI Memphis Supercluster легко перевершує будь-що з останнього списку Top500 з точки зору потужності відеоядер. Найпотужніші суперкомп’ютери світу, такі як Frontier (37 888 графічних процесорів AMD), Aurora (60 000 графічних процесорів Intel) і Microsoft Eagle (14 400 графічних процесорів Nvidia H100), здається, значно поступаються xAI.