Для запуска искусственного интеллекта обычно требуется дорогой высокопроизводительный компьютер с большим объемом оперативной памяти и мощной видеокартой. Однако благодаря приложению Exo искусственный интеллект теперь можно запускать в распределенном режиме. Благодаря этому не нужен один сверхмощный компьютер-можно воспользоваться несколькими менее мощными. Сгодится даже кучка старых смартфонов.
Система позволяет пользователям объединять вычислительные мощности нескольких компьютеров, смартфонов и даже одноплатных компьютеров (SBC), таких как Raspberry Pi, для запуска моделей искусственного интеллекта.
Этот децентрализованный подход имеет общие черты с проектом SETI @home, который распределял вычислительные задачи между компьютерами добровольцев. Используя специализированную сеть P2P, Exo устраняет необходимость в единой мощной системе, делая искусственный интеллект более доступными для отдельных лиц и организаций.
Exo стремится бросить вызов доминированию крупных технологических компаний в разработке искусственного интеллекта. Распределяя вычислительные ресурсы, он стремится дать отдельным лицам и небольшим организациям больший контроль над моделями искусственного интеллекта.
Программное обеспечение динамически распределяет искусственный интеллект (LLM) по доступным устройствам в сети, назначая уровни модели на основе доступной памяти и вычислительной мощности каждой машины. Поддерживаемые искусственные интеллекты включают LLaMA, Mistral, LlaVA, Qwen и DeepSeek.
Пользователи могут установить Exo на Linux, macOS, Android или iOS, хотя поддержка Windows в настоящее время недоступна. Требуется минимальная версия Python 3.12.0, а также дополнительные зависимости для систем под управлением Linux, оснащенных графическими процессорами NVIDIA .
Одной из ключевых сильных сторон Exo является то, что, в отличие от традиционных установок, основанных на высокопроизводительных графических процессорах, она обеспечивает совместную работу между различными конфигурациями оборудования.
Например, модель искусственного интеллекта, требующая 16 ГБ оперативной памяти, может работать на двух ноутбуках по 8 ГБ. Более требовательная модель, такая как DeepSeek R1, требует примерно 1,3 ТБ оперативной памяти, теоретически может работать на кластере из 170 устройств Raspberry Pi 5 с 8 ГБ оперативной памяти каждый.
Скорость сети и задержка являются критическими проблемами, и разработчики Exo признают, что добавление устройств с более низкой производительностью может снизить задержку вывода, но настаивают на том, что общая пропускная способность улучшается с каждым устройством, добавленным в сеть.
Риски безопасности также возникают, когда несколько компьютеров совместно используют рабочие нагрузки, что требует принятия мер для предотвращения утечки информации и несанкционированного доступа.
Внедрение является еще одним препятствием, поскольку разработчики инструментов искусственного интеллекта в настоящее время полагаются на крупномасштабные центры обработки данных. Подход Exo с низкой стоимостью может понравиться. Но подход Exo просто не будет соответствовать скорости этих высококлассных кластеров искусственного интеллекта.
