Український техноблогер Іван Лучков у новому випуску на каналі «Канал Лучкова» розбирає, як перейти від хмарних AI‑сервісів до локального штучного інтелекту на власному комп’ютері. У центрі розмови — не стільки софт, скільки «залізо»: яку відеокарту потрібно мати, щоб мовні моделі, генерація зображень і навіть відео працювали офлайн, без підписок і залежності від інтернету.
Що таке локальний AI насправді
У публічній дискусії «локальний ШІ» часто зводять до маркетингових слоганів на кшталт «AI прямо на смартфоні». Тут ідеться про значно конкретнішу річ. Локальний AI — це коли файл мовної моделі фізично зберігається на диску користувача і запускається як звичайна програма.
Модель у цьому сценарії поводиться як великий, але цілком звичайний файл. Вона лежить на SSD чи жорсткому диску, поки її не запустити. Після запуску обробляє запити, редагує тексти, аналізує документи, генерує зображення або відео. Після завершення роботи — просто «спить» на диску, не вимагаючи підписки, постійного інтернету чи примусових оновлень.
Ключова відмінність від хмарних сервісів очевидна: дані не залишають комп’ютер. Документи, які користувач завантажує в локальну модель, залишаються на його накопичувачі. Вони не потрапляють на сторонні сервери, не логуються і не використовуються для тренування майбутніх моделей. Інтернет у цей момент може бути повністю вимкнений — робота триває, поки є електроенергія й обчислювальні ресурси.
У такій конфігурації зникають ліміти на кількість запитів, токени й «стелі» використання. Можна запускати агента, який тиждень аналізуватиме велику базу даних, або генерувати сотні зображень поспіль — єдине реальне обмеження задає апаратна конфігурація, насамперед відеокарта.
Чому без дискретної Nvidia не обійтися
Попри те, що виробники активно просувають «AI‑можливості» ноутбуків і смартфонів, для серйозного локального ШІ цього поки недостатньо. Ноутбук з інтегрованою графікою, за оцінкою Лучкова, не підходить для серйозного локального AI. Інтегроване відеоядро просто не має ані достатньої продуктивності, ані потрібного обсягу відеопам’яті.
MacBook у цьому сенсі виглядає краще, але теж із застереженнями. Локальний AI на MacBook працює, однак з обмеженнями і не завжди швидко. Частина моделей поводиться прийнятно, інші помітно гальмують. Екосистема інструментів для macOS розвивається, але більшість популярного софту для локальних моделей оптимізовано під іншу платформу.
Ключова рекомендація для тих, хто хоче серйозно працювати з локальним ШІ, — повноцінна дискретна відеокарта Nvidia з підтримкою CUDA. Причина проста: майже весь актуальний софт для локального AI сьогодні написаний під CUDA‑ядра. Це власна технологія Nvidia, яка стала де-факто стандартом для прискорення обчислень у нейромережах на споживчому «залізі».
Без CUDA користувачеві доведеться або шукати рідкісні альтернативні збірки, або миритися з істотним падінням швидкості, коли обчислення виконуються на процесорі чи через менш оптимізовані бекенди. У результаті досвід роботи з локальним AI перетворюється на серію компромісів.
VRAM як головний ресурс: скільки пам’яті потрібно
У класичному геймерському дискурсі відеокарти оцінюють за кількістю ядер, частотами та пропускною здатністю. Для локального ШІ пріоритети зміщуються. Ключовим параметром відеокарти стає обсяг відеопам’яті, щоб модель повністю вміщувалася у VRAM.
Якщо модель не поміщається в доступну відеопам’ять, система починає підвантажувати її частини з оперативної пам’яті. Це різко знижує швидкість, а в деяких випадках модель взагалі не запускається. Тому саме VRAM визначає, які моделі можна використовувати, з якою швидкістю і наскільки комфортною буде робота.
Навколо мінімально необхідного обсягу відеопам’яті точиться чимало суперечок. Частина спільноти вважає, що можна починати з 8 ГБ. Лучков пропонує більш прагматичний поріг: мінімально комфортним обсягом відеопамʼяті для входу в локальний AI він називає 12 ГБ VRAM. Менше — це вже зона постійних обмежень, де доведеться або сильно стискати моделі, або миритися з повільною роботою.
Водночас ринок переживає своєрідну «кризу пам’яті»: відеокарти з 12 ГБ VRAM не завжди легко знайти за адекватною ціною, а моделі з більшим обсягом пам’яті помітно дорожчають. Проте саме VRAM стає тим ресурсом, який визначає, чи буде локальний AI інструментом для експериментів, чи повноцінною робочою платформою.
Від 12 до 32 ГБ: які відеокарти підходять для локального ШІ
Умовно ринок відеокарт для локального AI можна поділити на три рівні: стартовий, «золота середина» та ентузіастський сегмент.
На стартовому рівні Лучков наводить як приклад RTX 5060 Ti або RTX 4070. Обидві карти мають достатній обсяг відеопам’яті, щоб працювати з моделями до 8 млрд параметрів. Це дозволяє запускати сучасні мовні моделі середнього розміру, експериментувати з локальними чатботами, обробляти документи, генерувати текст і базові зображення. Такий набір можливостей він оцінює як адекватний для експериментів, але не для серйозної щоденної роботи, де потрібні більші моделі й вища стабільність.
Окремо у відео згадується партнерська відеокарта ASUS Prime GeForce RTX 5070 White OC 12GB, яку пропонують купити як «вхідний квиток» у безкоштовний AI. Її 12 ГБ VRAM відповідають тому мінімуму, з якого, за словами автора, локальний ШІ починає бути практично корисним, а не лише демонстраційним.
«Золотою серединою» для локального AI Лучков називає відеокарту з 16 ГБ відеопамʼяті. У цьому сегменті він розміщує власну конфігурацію: у своєму ПК автор використовує Nvidia RTX 5080 з 16 ГБ GDDR7. На цій карті він запускає мовні моделі до 14 млрд параметрів і модель Flux 2 для генерації зображень. Усі локальні інструменти, які демонструються у випуску, працюють саме на RTX 5080 з 16 ГБ пам’яті.
Практичні заміри показують, як саме використовується ресурс такої відеокарти. Під час генерації самері великого документа в LM Studio одна з моделей займає близько 15 ГБ відеопам’яті з 16 доступних. При цьому GPU завантажений лише приблизно на 30%, температура тримається на рівні 41 °C, а енергоспоживання становить близько 76 Вт. Модель видає відповідь зі швидкістю приблизно 40 токенів за секунду — це швидше за типову взаємодію з ChatGPT у хмарі. Якість відповідей не дотягує до топових хмарних моделей на кшталт Opus 4.7 від Claude, але для щоденної рутини цього більш ніж достатньо.
Нарешті, у верхньому сегменті розташовується RTX 5090 з 32 ГБ VRAM. На такій карті, за оцінкою Лучкова, можна запускати моделі до 70 млрд параметрів і локальну генерацію відео без компромісів. Це вже рівень, де локальний AI наближається до можливостей великих хмарних моделей не лише в тексті, а й у мультимедіа. Водночас вартість такого рішення відповідає його можливостям і навряд чи буде виправданою для масового користувача.
Таким чином, 16 ГБ VRAM виглядають оптимальним балансом між ціною та функціональністю. Це той рівень, на якому локальний AI починає реально конкурувати з хмарними сервісами у щоденних задачах, не змушуючи користувача постійно думати про обмеження пам’яті.
Як виглядає реальна робота локального ШІ на ПК
Щоб локальний AI не залишався абстракцією, Лучков демонструє конкретні сценарії роботи на своєму ПК з RTX 5080. Один із ключових інструментів — LM Studio. Це застосунок із інтерфейсом, дуже схожим на звичні чат‑боти: користувач вводить запит і отримує відповідь. Важливо, що LM Studio виступає оболонкою для завантаження й запуску будь-яких сумісних мовних моделей офлайн.
Усередині LM Studio доступні як власні моделі Nvidia, наприклад Nemotron 3 Nano 4B, що важить близько 3 ГБ, так і партнерські моделі, зокрема Gemma 4 від Google у різних конфігураціях. Повна версія Gemma 4 займає майже 18 ГБ, що наочно демонструє, чому 16 ГБ VRAM стають практичним мінімумом для комфортної роботи з такими моделями. Для порівняння, мобільна версія Gemma на смартфоні займає близько 3 ГБ, але й можливості в неї відповідно скромніші.
Користувач може завантажувати й інші популярні моделі — Mistral, Qwen 3.5 та багато інших. Каталог постійно оновлюється, тож нові моделі з’являються без прив’язки до конкретного хмарного сервісу. Після завантаження модель зберігається на диску й може використовуватися без інтернету, без підписок і без лімітів на кількість генерацій.
У демонстраційному сценарії LM Studio отримує великий документ у форматі DOCX, аналізує його й формує стислий виклад. Увесь процес відбувається локально, без звернення до зовнішніх серверів. Користувач бачить, як завантажується відеопам’ять, як зростає навантаження на GPU, але при цьому система залишається холодною й відносно енергоефективною. Для повсякденної роботи — від підготовки звітів до аналізу презентацій — такої конфігурації більш ніж достатньо.
Другий інструмент, Anything LM, орієнтований на складніші сценарії, але в межах цього фрагмента розмови деталі його роботи лише анонсуються. Важливим залишається інше: усі ці інструменти працюють на одному й тому ж «залізі» — RTX 5080 з 16 ГБ GDDR7, що підтверджує практичну достатність такої конфігурації для широкого спектра задач.
Де зібрати ПК під локальний ШІ
Питання вибору конкретних компонентів для локального AI‑ПК залишається непростим для багатьох користувачів. Потрібно враховувати не лише відеокарту, а й процесор, обсяг оперативної пам’яті, тип і місткість SSD, систему охолодження. Для тих, хто не хоче занурюватися в деталі, Лучков пропонує звертатися до спеціалізованих збирачів.
У відео він рекомендує збирати ПК для локального AI у компанії Artline і згадує їх онлайн‑конфігуратор. Користувач може прийти з конкретним сценарієм використання — від роботи з мовними моделями до генерації зображень і відео — і отримати збірку, оптимізовану під ці задачі. Такий підхід дозволяє уникнути типових помилок, коли, наприклад, ставлять потужний процесор, але економлять на відеопам’яті, що критично для локального ШІ.
Окремо варто згадати, що подібні конфігурації рідко використовуються лише для AI. Потужний ПК із сучасною відеокартою залишається універсальним інструментом: на ньому можна грати в ігри, монтувати відео, працювати з 3D‑графікою. Локальний AI у цьому випадку стає додатковим, але дедалі важливішим виміром використання домашнього чи робочого комп’ютера.
Висновок: локальний ШІ як новий стандарт «домашнього комп’ютера»
Перехід до локального штучного інтелекту — це не лише питання економії на підписках чи захисту даних. Це зміна базової моделі взаємодії з обчислювальними ресурсами. Замість того, щоб орендувати потужності в хмарі й жити в межах чужих лімітів, користувач інвестує в «залізо» один раз і отримує контроль над власною AI‑інфраструктурою.
У цій моделі головним стає не бренд сервісу, а конфігурація ПК. Дискретна Nvidia з CUDA, достатній обсяг VRAM — від 12 ГБ для старту до 16 ГБ як «золотої середини» і 32 ГБ для ентузіастів — визначають, які моделі можна запускати, з якою швидкістю й у яких сценаріях локальний AI зможе повністю замінити хмарні сервіси.
Поки що хмара зберігає перевагу в доступі до найпотужніших моделей і в гнучкості масштабування. Але вже сьогодні домашній ПК із правильно підібраною відеокартою здатен закрити значну частину щоденних задач — від тексту до зображень — без інтернету, без підписок і без ризику втратити доступ до інструментів через зовнішні обставини.
Для багатьох користувачів це може стати аргументом на користь того, щоб наступний апгрейд комп’ютера планувати не лише з огляду на ігри чи монтаж, а й на локальний ШІ, де VRAM стає новою головною валютою.