Для багатьох головний стимул використовувати локального чатбота — економія. Наразі запуск локальної моделі на iPhone обійдеться максимум у разову покупку за $5.
Для порівняння, підписка на сервіси великих AI-лабораторій коштує значно більше. Наприклад, щоб користуватися ChatGPT без реклами, потрібно викласти щонайменше $20 на місяць за план OpenAI Plus. Можна обрати дешевший тариф Go або взагалі залишитися на безплатній версії, якщо запускаєте ChatGPT лише час від часу, але тоді доведеться миритися з лімітами на кількість запитів. Аналогічно, плани Google AI стартують з $8 на місяць, але за Ultra-передплату можна віддавати до $100 щомісяця. Коли ж ви запускаєте чатбота локально на iPhone, можете користуватися ним скільки завгодно. Якщо ви «важкий» користувач, то майже напевно впираєтеся в денні ліміти ChatGPT, Claude чи Gemini, якщо не платите за підписку.
Для тих, хто турбується про приватність, локальні чатботи мають ще один плюс. Жоден із варіантів, які згадуються в цій статті, не вимагає реєстрації або передачі ваших даних лабораторіям, що тренували моделі. Розробники застосунків також стверджують, що не збирають ніяку інформацію про використання. У випадку з пропрієтарними моделями варто припускати, що ваші запити, а також будь-які надані вами дані, зображення, аудіо чи відео будуть використані для тренування майбутніх моделей. Існують рідкісні винятки. Наприклад, чатбот Lumo від Proton за замовчуванням є повністю приватним. Але у більшості сервісів, включно з ChatGPT, доведеться спеціально шукати, як вимкнути використання ваших даних для навчання моделей.
Ще одна річ, якої ви не можете зробити з ChatGPT, Claude чи Gemini, — користуватися ними без інтернету. Локальні ж чатботи працюють навіть офлайн.
Водночас варто згадати і про мінуси. Попри те, що новітні open-weight-моделі дуже здатні, вони все ж таки не такі «просунуті», як останні пропрієтарні рішення від Anthropic, OpenAI та інших комерційних AI-лабораторій. Наприклад, закриті моделі завдяки потужній хмарній інфраструктурі зазвичай мають довші контекстні вікна, що дозволяє їм краще враховувати інформацію з попередніх діалогів. На практиці це означає чатботів, які здаються розумнішими та більш розмовними, оскільки вам рідко доводиться повторюватися.
Крім того, і ChatGPT, і Claude пропонують розвинені функції «пам’яті», завдяки яким вони персоналізують відповіді під конкретного користувача. Наприклад, «мій» ChatGPT знає, що мій основний інструмент — Fender Stratocaster 1993 року, і часто згадує це, коли я ставлю питання про гітари. Для деяких людей це робить використання чатбота майже звиканням — здається, що система справді хоче вас «знати».
Якщо вам потрібен чатбот, який видає максимально актуальну інформацію, локальна модель, найімовірніше, не підійде. У всіх LLM є поріг знань — дата, після якої дані для навчання моделлю не охоплені. Наприклад, GPT-5.5 Instant не може посилатися на події після серпня 2024 року. Для Llama 3.2 ця дата — грудень 2023 року.
Щоб відповідати на запитання за межами цього порогу, модель має звертатися до потужного веб-пошуку. Пропрієтарні моделі мають тут дві переваги. По-перше, нинішній темп випуску нових моделей компаніями на кшталт OpenAI означає, що системи отримують свіжіші дані просто тому, що вони новіші. По-друге, оскільки для використання ChatGPT, Claude чи Gemini потрібне підключення до інтернету, ці чатботи можуть легко шукати інформацію в мережі, доповнюючи свої відповіді. Відкриті моделі теж можуть використовувати веб-пошук, але зазвичай лише через сторонні розширення.
Отже, якщо ви вирішили спробувати світ open-source LLM на iPhone, як це зробити? Потрібен застосунок, і є два варіанти, на які варто звернути увагу: Locally AI та Private LLM. Обидва максимально спрощують встановлення й запуск локального чатбота на iPhone. Перший можна завантажити безплатно, другий коштує $5.
З цих двох, імовірно, Locally AI краще підійде більшості користувачів. Він не тільки безплатний, а й пропонує зручніший процес початкового налаштування. Під час першого запуску застосунок порекомендує одну з трьох моделей, які варто спробувати, а потім завантажить обрану. Після цього можна відразу починати спілкування. У меню налаштувань легко знайти та завантажити інші моделі для тестування. У розділі Personalization можна задати системний промпт, щоб впливати на стиль відповідей чатбота.
Коли завантажуєте різні моделі, звертайте увагу на кількість параметрів. Моделі з більшою кількістю параметрів зазвичай дають якісніші відповіді, адже вони відображають більш складні системи.
Компроміс у тому, що такі моделі займають більше місця на пристрої та працюють повільніше через вищі обчислювальні вимоги. Залежно від конкретної моделі, потрібний обсяг сховища може бути відчутним. Наприклад, для запуску Llama 3.2 від Meta з 3 мільярдами параметрів Locally AI потребує 1,81 ГБ, і застосунок рекомендує для найкращого досвіду iPhone 15 Pro або новіший. Натомість версія Llama 3.2 з 1 мільярдом параметрів займає лише 695 МБ.
Майже очевидно, що новіші iPhone краще справляються з локальними моделями, ніж старіші. Загальне правило: великі моделі найкраще працюють на iPhone 15 або новіших. Втім, не варто відмовлятися від ідеї протестувати компактніші моделі на старішому пристрої. Наприклад, iPhone 12 без проблем запускав полегшені версії Llama 3.2 та Gemma 3. Якщо ви не впевнені, на сайті Private LLM є список усіх моделей, доступних у застосунку, з рекомендаціями щодо обсягу оперативної пам’яті для кожної.