Український техноподкаст УТ‑2 у свіжому випуску розбирає одну з найпомітніших подій на ринку великих мовних моделей: вихід лінійки Gemma 4 від Google. Це відкриті моделі, які ведучі описують як дистиляцію з флагманської Gemini 3 Pro, але орієнтовану на локальний запуск і розробницькі сценарії. На цьому тлі вони обговорюють, як Gemma 4 змінює баланс сил між Google і Meta в open‑source‑сегменті, що означає поява моделей на 26–31 мільярд параметрів для домашніх GPU, і чому навіть «малюки» на 2–4B параметрів із підтримкою зображень можуть виявитися важливішими, ніж здається.
Google забирає «корону» в Meta: нова конфігурація open‑source‑ринку
Останні два роки роль неформального лідера open‑source‑руху у великих мовних моделях належала Meta. Лінійки LLaMA 2 і LLaMA 3 стали де-факто стандартом для локального запуску, численних форків, fine‑tuning‑проєктів і стартапів, які будують продукти поверх відкритих моделей. Саме Meta задавала темп: перша давала моделі, що за якістю наближалися до закритих гігантів, і при цьому дозволяла доволі вільне комерційне використання.
З виходом Gemma 4 ситуація помітно змінюється. Ведучі УТ‑2 формулюють це максимально прямо: Google фактично забирає в Meta неформальну «корону» головного постачальника open‑source LLM. Причина не лише в бренді чи маркетингу, а в поєднанні трьох факторів.
По‑перше, Gemma 4 позиціонується як дистильована з Gemini 3 Pro лінійка. Тобто це не «друга ліга», а похідна від топової закритої моделі Google, оптимізована під менший розмір і локальний inference. Для розробників це сигнал: відкриті моделі більше не означають «значно гірше, ніж хмарні флагмани».
По‑друге, Google одразу закриває широкий діапазон сценаріїв. У лінійці є як малі моделі на 2B і 4B параметрів, так і великі варіанти в діапазоні 26–31B. Це дозволяє покрити все — від мобільних і вбудованих застосунків до серйозних робочих станцій із потужними GPU.
По‑третє, компанія робить ставку на довгі контексти й мультимодальність навіть у молодших моделях. Це те, чого open‑source‑спільнота довго чекала від великих гравців: не просто «урізані» версії, а інструменти, які реально конкурують із хмарними сервісами в повсякденних задачах.
На цьому тлі Meta, попри все ще сильні позиції LLaMA, уже виглядає не єдиним центром тяжіння. Якщо раніше більшість локальних рішень автоматично будувалися навколо LLaMA, то тепер Gemma 4 стає рівноправною, а подекуди й привабливішою альтернативою.
31B на столі: RTX 5090 як новий «золотий стандарт» домашнього inference
Один із ключових аргументів на користь Gemma 4 — те, як вона поводиться на сучасному споживчому залізі. Ведучі наводять показову цифру: варіант Gemma 4 приблизно на 31 мільярд параметрів видає близько 51 токена за секунду на відеокарті NVIDIA RTX 5090. Для локального запуску це вже не «демо‑режим», а швидкість, достатня для комфортної інтерактивної роботи — від програмування до складних аналітичних запитів.
RTX 5090 у їхньому обговоренні фігурує як цільове залізо для локального inference великих моделей. Це не датацентрний A100 чи H100, а все ж таки споживча відеокарта, яку теоретично може дозволити собі ентузіаст або невелика команда. Водночас реальність залишається жорсткою: за словами ведучих, RTX 5090 зараз коштує приблизно 5000 доларів США.
Ця цифра добре окреслює нову економіку домашнього AI. З одного боку, 5000 доларів — це все ще значно дешевше, ніж оренда потужних хмарних GPU на тривалий період, особливо якщо модель використовується щодня й інтенсивно. З іншого — це далеко не масовий сегмент. RTX 5090 перетворюється на інструмент для професіоналів, які будують робочі процеси навколо локальних LLM: розробників, дослідників, невеликих студій, які хочуть контролювати дані й не залежати від змін тарифів у хмарі.
Швидкість у 51 токен за секунду на 31B‑моделі важлива ще й у контексті порівняння з хмарними сервісами. Якщо локальна Gemma 4 наближається до відчуття «розмови в реальному часі», то для багатьох сценаріїв — від написання коду до аналізу великих документів — це вже достатній рівень комфорту, щоб відмовитися від постійного звернення до API сторонніх провайдерів.
24B у 24 ГБ: межі старого покоління GPU і компроміси контексту
Не всі готові вкладатися в RTX 5090, і тут на сцену виходять старші, але все ще поширені відеокарти на кшталт RTX 3090. Ведучі звертають увагу на те, що модель Gemma 4 приблизно на 24 мільярди параметрів поміщається в 24 ГБ VRAM на RTX 3090. Формально це означає, що власники таких карт можуть запускати велику модель локально без складних трюків із розподілом по кількох GPU.
Однак є суттєвий нюанс: у такій конфігурації залишається дуже мало пам’яті для довгих контекстів і додаткових інструментів. Тобто модель «влізає» впритул, але простір для маневру мінімальний. Це накладає обмеження на практичні сценарії.
Якщо мова про короткі запити, прості діалоги чи невеликі фрагменти коду — RTX 3090 із Gemma 4 24B ще може бути робочим варіантом. Але як тільки постає завдання аналізувати великі кодові бази, довгі юридичні документи чи багатокрокові ланцюжки інструментів із постійним читанням і записом у контекст, брак VRAM стає критичним.
Фактично 24 ГБ сьогодні — це нижня межа для «серйозної» локальної роботи з моделями середнього розміру. Вона дозволяє відчути можливості Gemma 4, але не розкриває їх повністю. Для тих, хто планує будувати складні пайплайни з довгими контекстами, 3090 стає радше тимчасовим рішенням, а не довгостроковою інвестицією.
Це добре ілюструє загальний тренд: вихід Gemma 4 підсвічує розрив між поколіннями GPU. Те, що ще вчора здавалося «оверкілом» для ігор і творчих задач, сьогодні вже ледь тягне сучасні LLM із довгими контекстами. І саме тут RTX 5090 та подібні карти нового покоління починають виглядати не розкішшю, а інструментом, який відкриває повний спектр можливостей.
Від 2B до 31B: як Gemma 4 масштабується від смартфона до гігантських кодових баз
Справжня сила лінійки Gemma 4 — у її масштабованості. Google не обмежується одним «флагманом», а пропонує цілу драбину моделей, кожна з яких орієнтована на свій клас пристроїв і сценаріїв.
На нижньому щаблі — малі моделі на 2 і 4 мільярди параметрів. Ведучі підкреслюють, що навіть ці «малюки» підтримують обробку зображень і мають контекстні вікна на 128 тисяч токенів. Для мобільних і вбудованих сценаріїв це виглядає майже як стрибок у майбутнє.
Поєднання візуальних можливостей і довгого контексту на такому розмірі відкриває широкий спектр застосувань. На смартфоні чи компактному одноплатному комп’ютері можна запускати моделі, які не лише читають текст, а й аналізують фото, діаграми, скріншоти. 128K токенів дозволяють тримати в пам’яті довгі діалоги, інструкції, шматки документації чи історію дій користувача, не втрачаючи контексту на кожному кроці.
Ведучі згадують демонстрації, де невелика vision‑модель Gemma у зв’язці з окремою моделлю для розпізнавання об’єктів на кшталт YOLO відповідає на запитання про автомобілі на парковці на фото. Це показовий приклад того, як навіть компактні моделі можуть виконувати складні мультимодальні задачі, якщо їх грамотно поєднати з іншими інструментами.
На протилежному кінці шкали — великі моделі Gemma 4 у діапазоні 26–31B параметрів. Вони отримали контекстні вікна до 256 тисяч токенів, а спеціальний варіант — до приблизно 1,5 мільйона токенів. Ці цифри вже виходять за межі звичних уявлень про «чат із моделлю» й наближають Gemma 4 до ролі повноцінного аналітика для великих кодових баз чи документів.
Контекст у 256K дозволяє завантажити в модель значну частину репозиторію, документацію, історію змін і вести розмову, не втрачаючи попередні кроки. А близько 1,5 мільйона токенів — це вже рівень, на якому можна працювати з монолітними кодовими базами чи масивними юридичними й технічними документами без складних трюків із розбиттям на шматки й ручним керуванням контекстом.
Для розробників це означає можливість будувати інструменти, де модель «бачить» майже весь проєкт цілком, а не окремі файли. Для бізнесу — аналітичні системи, які можуть одночасно тримати в голові сотні сторінок регламентів, контрактів чи звітів і відповідати на запитання з урахуванням усієї цієї інформації.
Локальна альтернатива Claude: Gemma 4 31B проти Sonnet 4.5
Ще один важливий маркер зрілості Gemma 4 — порівняння з хмарними моделями, які сьогодні вважаються «золотою серединою» між якістю й вартістю. Один із ведучих зазначає, що за бенчмарками Gemma 4 на 31B параметрів приблизно відповідає рівню Claude Sonnet 4.5. Це не формальний офіційний рейтинг, але важливий орієнтир для практиків, які щодня працюють із LLM.
Claude Sonnet 4.5 — це модель, яку багато розробників сприймають як робочого «коня» для коду, аналітики й загальних задач. Вона дешевша й швидша за топові флагмани на кшталт Claude Opus, але при цьому достатньо розумна для більшості повсякденних сценаріїв. Якщо Gemma 4 31B наближається до цього рівня, то вперше з’являється реалістична можливість мати «локальний Sonnet» на власному GPU.
Це змінює логіку вибору між хмарою й локальним запуском. Раніше компроміс виглядав так: або висока якість у хмарі, або помітно слабша, але локальна open‑source‑модель. Тепер, якщо Gemma 4 31B дійсно тримається на рівні Sonnet 4.5, компроміс стає значно м’якшим. Розробник із RTX 5090 може отримати якість, близьку до улюбленої хмарної моделі, але з повним контролем над даними й без ризику раптових змін тарифів чи лімітів.
Звісно, локальний запуск не скасовує витрат на залізо й енергоспоживання, але для інтенсивних сценаріїв це може виявитися вигіднішим, ніж постійна оплата API. Особливо якщо модель використовується як частина внутрішніх інструментів компанії, де питання приватності й відповідності регуляціям важать не менше, ніж вартість.
Порівняння з Sonnet 4.5 також важливе з точки зору довіри. Розробники, які вже оцінили Claude в реальних задачах, отримують зрозумілу точку відліку: Gemma 4 31B — це не абстрактний «31B open‑source», а щось, що можна співвіднести з уже знайомим рівнем якості.
Домашній AI як нова категорія техніки
На тлі Gemma 4 і обговорення RTX 5090 стає очевидно: формується нова категорія споживчої техніки — домашнє AI‑залізо. Якщо раніше потужні GPU купували переважно геймери, 3D‑художники й відеомонтажери, то тепер до них додається ще одна група — ті, хто хоче мати власну LLM‑інфраструктуру.
Gemma 4 добре підкреслює цей тренд. Малі моделі на 2–4B параметрів із підтримкою зображень і 128K контекстом роблять реалістичними сценарії, де смартфон чи компактний ПК стає персональним асистентом, який працює повністю офлайн. Великі моделі на 26–31B з контекстом до 256K і навіть 1,5 млн токенів перетворюють домашню робочу станцію з RTX 5090 на щось на кшталт приватного AI‑сервера, здатного аналізувати цілі кодові бази й документи.
Це не означає, що хмара зникне. Навпаки, для багатьох задач вона залишиться зручнішою й дешевшою, особливо коли мова про епізодичне використання чи колективний доступ. Але з появою Gemma 4 вибір перестає бути одностороннім. Тепер це не «або хмара, або слабкий локальний open‑source», а спектр рішень, де кожен може підібрати конфігурацію під свої потреби й бюджет.
Для ринку це означає новий виток конкуренції. Meta більше не є єдиним постачальником відкритих моделей, на які орієнтуються всі локальні рішення. Google із Gemma 4 пропонує альтернативу, яка одночасно масштабована, мультимодальна й орієнтована на довгі контексти. А це саме ті характеристики, які визначатимуть корисність LLM у найближчі роки.
Висновок: Gemma 4 як точка неповернення для локальних LLM
Вихід Gemma 4 фіксує важливий злам у розвитку великих мовних моделей. Вперше відкриті моделі від великого гравця настільки явно орієнтовані на повний спектр сценаріїв — від мобільних пристроїв до домашніх станцій із GPU за 5000 доларів, від аналізу фотографій до роботи з контекстами на сотні тисяч і навіть мільйони токенів.
Google не просто додає ще одну open‑source‑лінійку до вже існуючих. Компанія змінює правила гри, пропонуючи дистильовану версію свого флагмана Gemini 3 Pro як основу для локальних рішень. На цьому тлі Meta втрачає монополію на роль головного постачальника відкритих LLM, а розробники отримують реальну альтернативу LLaMA — із конкурентною якістю, довгими контекстами й мультимодальністю навіть у молодших моделях.
Для ентузіастів і професіоналів, які будують власні AI‑інструменти, це сигнал: інвестиції в домашнє залізо на кшталт RTX 5090 більше не виглядають екзотикою. Вони стають способом отримати локальний аналог моделей рівня Claude Sonnet 4.5, не виходячи за межі власної інфраструктури.
Gemma 4, схоже, позначає точку, після якої розмова про LLM уже не зводиться до вибору «який хмарний API підключити». Відтепер це ще й питання: «яке залізо поставити вдома, щоб мати власний, повноцінний AI‑двигун».
Джерело
Бенчмарки — ФЕЙК, Claude ТУПІЄ, а ФБР читає ваш Signal та інші важливі новини! mvc #24