Для запуску штучного інтелекту зазвичай потрібний дорогий високопродуктивний комп’ютер з великим об’ємом оперативної пам’яті і потужною відеокартою. Однак завдяки додатку Exo штучний інтелект тепер можна запускати в розподіленому режимі. Завдяки цьому не потрібен один надпотужний комп’ютер – можна скористатися кількома менш потужними. Згодиться навіть купка старих смартфонів.
Система дозволяє користувачам об’єднувати обчислювальні потужності декількох комп’ютерів, смартфонів і навіть одноплатних комп’ютерів (SBC), таких як Raspberry Pi, для запуску моделей штучного інтелекту.
Цей децентралізований підхід має спільні риси з проектом SETI @home, який розподіляв обчислювальні завдання між комп’ютерами добровольців. Використовуючи спеціалізовану мережу P2P, Exo усуває необхідність в єдиній потужній системі, роблячи штучний інтелект більш доступними для окремих осіб і організацій.
Exo прагне кинути виклик домінуванню великих технологічних компаній у розробці штучного інтелекту. Розподіляючи обчислювальні ресурси, вона прагне надати окремим особам і невеликим організаціям більший контроль над моделями штучного інтелекту.
Програмне забезпечення динамічно розподіляє штучний інтелект (LLM) по доступним пристроям у мережі, призначаючи рівні моделі на основі доступної пам’яті і обчислювальної потужності кожної машини. Підтримувані штучні інтелекти включають LLaMA, Mistral, LlaVA, Qwen і DeepSeek.
Користувачі можуть встановити Exo на Linux, macOS, Android або iOS, хоча підтримка Windows в даний час недоступна. Потрібна мінімальна версія Python 3.12.0, а також додаткові залежності для систем під управлінням Linux, оснащених графічними процесорами NVIDIA .
Однією з ключових сильних сторін Exo є те, що, на відміну від традиційних установок, заснованих на високопродуктивних графічних процесорах, вона забезпечує спільну роботу між різними конфігураціями обладнання.
Наприклад, модель штучного інтелекту, що вимагає 16 ГБ оперативної пам’яті, може працювати на двох ноутбуках за 8 ГБ. Більш вимоглива модель, така як DeepSeek R1, вимагає приблизно 1,3 ТБ оперативної пам’яті, теоретично могла б працювати на кластері з 170 пристроїв Raspberry Pi 5 з 8 ГБ оперативної пам’яті кожен.
Швидкість мережі і затримка є критичними проблемами, і розробники Exo визнають, що додавання пристроїв з більш низькою продуктивністю може знизити затримку виведення, але наполягають на тому, що загальна пропускна здатність поліпшується з кожним пристроєм, доданим в мережу.
Ризики безпеки також виникають, коли кілька комп’ютерів спільно використовують робочі навантаження, що вимагає прийняття заходів для запобігання витоку інформації і несанкціонованого доступу.
Впровадження є ще однією перешкодою, оскільки розробники інструментів штучного інтелекту в даний час покладаються на великомасштабні центри обробки даних. Низька вартість підходу Exo може сподобатися. Але підхід Exo просто не буде відповідати швидкості цих висококласних кластерів штучного інтелекту.
