Локальні мовні моделі вже не обмежуються простим чат-інтерфейсом. На базі Gemma 4 та Ollama можна побудувати повністю приватну, безкоштовну й досить потужну альтернативу хмарним сервісам на кшталт ChatGPT. Канал Teacher’s Tech показує, як це зробити за допомогою Open WebUI — відкритого веб-інтерфейсу, що суттєво розширює можливості локального AI.
Що таке Open WebUI і навіщо воно Gemma 4
Open WebUI — це безкоштовний open‑source веб-інтерфейс, який «сидить» поверх Ollama і надає зручну панель керування для локальних моделей, зокрема Gemma 4. Якщо Ollama — це «двигун», то Open WebUI — «приладова панель».
Базовий застосунок Ollama вже вміє:
- вести чат;
- приймати зображення;
- виконувати веб-пошук.
Open WebUI додає до цього повноцінний «ChatGPT‑подібний» досвід:
- завантаження документів (PDF, таблиці тощо) з можливістю ставити до них запитання;
- постійні бази знань (knowledge bases), доступні в будь-якій розмові;
- створення кастомних AI‑персон (персоналізованих асистентів) через системні промпти;
- історію чатів із пошуком, перейменуванням і папками.
Ключовий момент: усе продовжує працювати локально. Моделі, файли, бази знань — на вашому комп’ютері, без відправлення даних у хмару.
Встановлення через Docker: одна команда до готового інтерфейсу
Щоб запустити Open WebUI, використовується Docker. Глибоко розбиратися в контейнерах не потрібно: достатньо встановити одну програму й виконати одну команду.
1. Встановлення Docker Desktop
- Перейти на сайт Docker Desktop.
- Завантажити інсталятор для своєї ОС (Windows або macOS).
- Пройти стандартну установку.
Особливості:
- Windows: Docker Desktop використовує WSL 2. Якщо під час інсталяції з’являється запит на ввімкнення WSL 2 — варто погодитися, виконати інструкції й, за потреби, перезавантажити ПК.
- macOS: достатньо встановити й запустити застосунок, додаткових кроків немає.
Після запуску Docker Desktop його значок має з’явитися в панелі завдань (Windows) або меню (macOS). Вхід у Docker-акаунт можна пропустити — для локального використання це не обов’язково.
2. Запуск Open WebUI
Далі потрібно відкрити термінал:
- Windows: Command Prompt або PowerShell;
- macOS: Terminal.
У терміналі виконується одна команда запуску контейнера Open WebUI (наведена в описі відео). Вона:
- завантажує образ Open WebUI;
- створює контейнер;
- відкриває порт 3000;
- зберігає дані інтерфейсу в локальному томі Docker.
Після завершення завантаження Open WebUI вже працює у фоні.
3. Перший запуск у браузері
- Відкрити браузер.
- Перейти за адресою
http://localhost:3000.
При першому вході система попросить створити локальний акаунт (ім’я, email, пароль). Це суто локальний обліковий запис, він не підключається до жодних зовнішніх сервісів.
Якщо Ollama вже запущена, Open WebUI автоматично знаходить моделі, зокрема Gemma 4, і показує їх у випадаючому списку моделей. Якщо модель не відображається, потрібно переконатися, що сервіс Ollama запущений (наприклад, через команду ollama serve у терміналі).
Інтерфейс нагадує ChatGPT або Claude:
- по центру — чат;
- праворуч/угорі — вибір моделі;
- збоку — історія розмов із можливістю пошуку, перейменування та організації в папки.
Бази знань: як зробити документи «постійною пам’яттю» моделі
Просте завантаження файлів у чат має обмеження: модель «забуває» документ, щойно ви починаєте нову розмову. Для одноразових запитів це прийнятно, але при роботі з наборами документів (політики, навчальні матеріали, інструкції) постійне перевантаження файлів стає незручним.
Open WebUI вирішує це через knowledge bases — постійні колекції документів, до яких модель може звертатися в будь-якій сесії.
Створення бази знань
- Перейти до розділу Workspace.
- Вибрати вкладку Knowledge.
- Натиснути Add new knowledge.
- Задати назву (наприклад, School policies).
- Додати короткий опис (що містить колекція).
- Створити базу й перейти до вкладки Content.
У контент бази можна:
- завантажувати файли (PDF та інші формати);
- додавати текст;
- підключати веб-сторінки (для цього потрібен інтернет на етапі завантаження).
Завантажені документи обробляються й зберігаються постійно — доки користувач сам їх не видалить.
Використання бази знань у чаті
У новій розмові не потрібно повторно завантажувати файли. Є два способи підключити базу:
- через кнопку More → Attach knowledge → вибрати потрібну базу;
- через символ
#у полі введення, після чого з’являється список доступних баз (наприклад,#school policies).
Після цього будь-які запитання в цьому чаті будуть «заземлені» на обраній базі знань. Наприклад, можна запитати:
«Чи може вчитель використовувати особистий телефон для фотографування учнів під час екскурсії?»
Модель формує відповідь, спираючись на завантажені політики, часто комбінуючи фрагменти з кількох документів.
Працює повністю офлайн
Щоб продемонструвати локальність, можна повністю вимкнути Wi‑Fi й продовжити ставити запитання до бази знань. Відповіді продовжують генеруватися: модель, індекс документів і самі файли знаходяться на локальній машині.
Що відбувається «під капотом»
Open WebUI:
- Розбиває документи на дрібні фрагменти (чанки).
- Індексуює їх.
- Під час запиту шукає релевантні фрагменти.
- Передає лише ці частини в модель Gemma 4 разом із запитанням.
Таким чином, відповіді базуються на реальних документах користувача, а не лише на загальному тренувальному наборі моделі.
Це особливо важливо для чутливих даних:
- студентські записи;
- юридичні документи;
- фінансова інформація;
- медичні матеріали.
На відміну від хмарних сервісів, тут нічого не залишає межі комп’ютера.
Аналіз зображень і кастомні AI‑персони
Мультимодальність: робота з картинками
Gemma 4 у зв’язці з Open WebUI підтримує мультимодальність — розуміння зображень. У чат можна просто перетягнути картинку й задати запит:
- «Що ти бачиш на цьому зображенні? Опиши все детально».
Модель здатна:
- описувати сцени;
- витягувати текст зі скриншотів;
- аналізувати графіки й діаграми;
- читати рукописні нотатки (залежно від якості зображення);
- давати структурований опис фото.
Усе це також виконується локально.
Кастомні персони через системні промпти
Ще одна сильна сторона Open WebUI — можливість створювати спеціалізовані «версії» Gemma 4 під конкретні задачі. Це реалізовано через system prompt — набір інструкцій, які постійно впливають на поведінку моделі в межах певного «персонажа».
Приклад: асистент для написання email
- Перейти до Workspace → вкладка Models.
- Натиснути New model.
- Задати назву (наприклад, Email writer).
- Обрати базову модель — Gemma 4.
- У полі system prompt описати роль, наприклад:
- професійний помічник із написання листів;
- отримує короткі нотатки або маркери;
- формує структурований, ввічливий і чіткий email.
За бажанням можна:
- підключити до персони певну базу знань;
- налаштувати додаткові можливості (capabilities, tools).
Після збереження новий «персонаж» з’являється в списку моделей. Далі достатньо вибрати його в чаті й дати кілька пунктів, наприклад:
«Скарга інтернет-провайдеру. Інтернет падав тричі за місяць. Хочу кредит на рахунок».
Персона автоматично перетворює це на повноцінний лист, готовий до копіювання й відправлення. Таких персон можна створити скільки завгодно:
- асистент для коду;
- генератор тестів;
- підсумовувач протоколів зустрічей;
- будь-які інші повторювані задачі.
Великі моделі Gemma 4: коли варто спробувати 26B
У демонстрації використовується базова модель Gemma 4 E4B, яка добре працює на більшості машин із 8–16 ГБ RAM. Однак Gemma 4 доступна й у більших варіантах, деякі з яких дають помітно кращу якість відповідей.
Один із рекомендованих варіантів — Gemma 4 26B:
- це модель типу Mixture of Experts (MoE);
- має близько 26 млрд параметрів загалом;
- при цьому одночасно активує приблизно 4 млрд параметрів;
- дає кращу якість, ніж E4B, але не вимагає настільки багато ресурсів, як «класична» 26‑мільярдна модель.
Технічні вимоги:
- завантаження — близько 18 ГБ;
- бажано мати щонайменше 16 ГБ оперативної пам’яті.
Як завантажити 26B
Є два підходи:
-
Через Open WebUI
У розділі Admin panel → Settings → Models можна керувати моделями, які підтягує Ollama. Однак список доступних моделей може оновлюватися із затримкою, і Gemma 4 там може ще не з’явитися. -
Через термінал Ollama
У такому разі в терміналі (Windows або macOS) виконується команда:
bash
ollama pull gemma4:26b
Після завантаження модель стає доступною в Ollama, а Open WebUI автоматично її підхоплює.
Підсумок: локальний AI‑стек із функціями «великих» сервісів
У результаті користувач отримує повністю локальну AI‑систему з можливостями, які раніше асоціювалися переважно з хмарними сервісами:
- зручний веб-інтерфейс у стилі ChatGPT;
- завантаження й аналіз документів;
- постійні бази знань із пошуком по власних файлах;
- розуміння зображень;
- кастомні AI‑персони під конкретні задачі;
- можливість переходу на більші моделі для кращої якості.
І все це — безкоштовно, без відправлення даних у хмару й з повним контролем над тим, що відбувається на машині.
Джерело
Gemma 4 Just Got Way More Powerful with Open WebUI — Teacher’s Tech