У Сан‑Франциско, під час сесії для розробників, лідерка з developer relations у Google DeepMind Пейдж Бейлі — інженерка з досвідом у машинному навчанні ще з 2009 року та учасниця розробки NumPy, SciPy і scikit‑learn — показувала, як нове покоління моделей DeepMind виходить далеко за межі текстових чат‑ботів. За останні півтора місяця команда випустила цілу хвилю моделей, і серед них — цілий пласт мультимодальних систем, орієнтованих на зображення, відео, аудіо, музику та інтерактивні середовища.
На тлі ринку, де більшість моделей досі мислять категоріями «текст + код» і максимум сприймають статичні зображення, стек Google DeepMind виглядає як спроба переосмислити сам формат взаємодії з ШІ. У центрі — Gemini як універсальний мультимодальний рушій, а поруч — спеціалізовані моделі Veo, NanoBanana, Lyria та Genie, які закривають окремі, але взаємопов’язані сценарії: від відеогенерації до побудови інтерактивних світів.
Gemini як справжній мультимодальний центр: один інтерфейс для відео, аудіо, коду й тексту
Gemini 3.1 у презентації Бейлі з’являється як «особливий» гравець не лише завдяки продуктивності чи ціні, а насамперед через те, як він працює з модальностями. На відміну від більшості конкурентів, які фактично залишаються текстовими моделями з додатковими можливостями, Gemini спроєктовано як нативно мультимодальну систему — як на вході, так і на виході.
На рівні вводу Gemini може приймати відео, зображення, аудіо, текст і код в одному запиті. Це не окремі ендпоїнти для «відео‑аналізу» чи «зображень», а єдиний інтерфейс, де всі ці типи даних розглядаються як частини одного контексту. Через API можна подавати PDF‑файли з вбудованими зображеннями, різні формати відео та аудіо — усе це стає токенами для інференсу, які модель обробляє разом із текстовими інструкціями.
Практичний ефект такої архітектури добре видно на прикладі роботи з відео в AI Studio. Розробник може просто вставити URL з YouTube, задати часовий діапазон, і Gemini отримає доступ до відео як до послідовності кадрів та аудіо, а не як до окремого «типу задачі». Далі можна сформулювати запит на кшталт: «Створи таблицю з таймкодами всіх видів динозаврів у цьому ролику та додай цікавий факт про кожен вид». Модель:
- розбирає відео по кадрах;
- ідентифікує об’єкти (у цьому випадку динозаврів);
- зіставляє їх із назвами видів;
- доповнює відповідь фактами, використовуючи підключений інструмент пошуку.
Ключовий момент у тому, що для Gemini немає принципової різниці між «прочитати текст», «проаналізувати відео» чи «розібрати PDF з діаграмами». Усе це — частини одного контекстного вікна, з яким модель працює як із єдиним інформаційним простором.
На виході Gemini теж не обмежується текстом. Моделі можуть генерувати текст, код, аудіо та зображення, причому з можливістю «переплетення» — наприклад, створювати пояснення, де текст і зображення чергуються, формуючи щось на кшталт інтерактивного конспекту або візуально анотованого звіту. Це відкриває сценарії, де один запит може породити, скажімо, текстову інструкцію, ілюстрації до неї та супровідний аудіокоментар.
На тлі цього більшість інших моделей на ринку виглядають значно консервативніше: вони здебільшого вміють приймати текст і, у кращому випадку, статичні зображення, а відповідати — текстом або кодом. Для складних застосунків, де потрібно одночасно працювати з відео, аудіо, графікою та структурованими документами, це стає відчутним обмеженням.
Спільний простір для всіх медіа: навіщо потрібні мультимодальні ембеддінги
Ще один важливий елемент стеку DeepMind — мультимодальна модель ембеддінгів, яка розміщує відео, зображення, аудіо, текст і код в одному спільному векторному просторі. Ідея проста, але наслідки для пошуку та рекомендацій — радикальні.
Якщо всі ці типи даних представлені в єдиному embedding‑просторі, стає можливим крос‑модальний пошук. Наприклад, запит «покажи весь контент, пов’язаний із котами» більше не обмежується текстовими документами чи тегованими картинками. Система може повернути:
відео з котами,
зображення,
аудіозаписи муркотіння чи нявкання,
книги або статті про котів,
фрагменти коду, якщо вони теж описують або моделюють поведінку тварин.
Той самий принцип працює і в зворотному напрямку: можна шукати відео за аудіозапитом, зображення за текстовим описом або навіть код за прикладом вхідних та вихідних даних, якщо все це «лежить» в одному семантичному просторі.
Для розробників це означає, що складні системи пошуку та рекомендацій, які раніше вимагали окремих пайплайнів для кожної модальності, тепер можуть будуватися поверх одного embedding‑шару. Наприклад, освітня платформа може дозволити студенту ввести текстовий запит і отримати мікс із відеолекцій, схем, уривків підручників і аудіопояснень, які справді близькі за змістом, а не просто збігаються за ключовими словами.
У поєднанні з можливістю Gemini приймати всі ці типи даних на вхід, мультимодальні ембеддінги стають фундаментом для систем, де користувачеві не потрібно думати, «яким форматом» ставити запит. Він просто формулює задачу, а модель сама знаходить релевантний контент у будь‑якій формі.
Від картинок до відео: NanoBanana 2 та Veo 3.1 Lite як інструменти візуальної творчості
Якщо Gemini — це універсальний мультимодальний «мозок», то NanoBanana 2 та Veo 3.1 Lite — це спеціалізовані інструменти для візуального контенту, які закривають окремі етапи креативного процесу.
NanoBanana 2 — модель для генерації та редагування зображень. Вона орієнтована не лише на створення картинок «з нуля», а й на ітеративний дизайн: зміну деталей, перефарбування, додавання або видалення об’єктів, адаптацію стилю. У типовому робочому процесі розробник або дизайнер може:
спочатку згенерувати базовий варіант ілюстрації за текстовим описом,
потім кілька разів уточнити композицію, колірну схему чи стиль,
далі використати модель для локальних правок — наприклад, змінити фон, додати логотип або адаптувати зображення під різні формати.
Така можливість «редагувати, а не лише генерувати» важлива для реальних робочих процесів, де рідко буває так, що перший результат моделі можна одразу відправляти у продакшн. NanoBanana 2 фактично вбудовується в цикл дизайн‑ітерацій, дозволяючи швидко наближати зображення до потрібного результату.
Veo 3.1 Lite, своєю чергою, відповідає за відео. Це модель генерації відео, оптимізована під низький вартісний профіль. Іншими словами, вона спроєктована так, щоб дозволити створювати багато відео — для прототипів, тестів, A/B‑експериментів — без вибуху витрат.
У контексті AI Studio Veo 3.1 Lite з’являється як один із варіантів у «відео‑пілці» модального вибору моделей. Розробник може обрати саме Lite‑версію, коли йдеться про:
масове створення коротких роликів для тестування ідей,
генерацію прев’ю або чернеток, які потім будуть доопрацьовані іншими інструментами,
сценарії, де важливіше швидкість і вартість, ніж максимальна візуальна деталізація.
У поєднанні з Gemini, який може аналізувати відео, та мультимодальними ембеддінгами, що дозволяють шукати по ньому, Veo 3.1 Lite стає частиною замкненого циклу: модель генерує відео, інша модель його аналізує, а третя допомагає знайти потрібні фрагменти чи порівняти різні варіанти.
За межами статичних медіа: Lyria 3 та Genie 3 як крок до інтерактивних світів
Окремий пласт стеку Google DeepMind — це моделі, які працюють із медіа, що складно звести до «картинки» чи «відео». Йдеться про музику та інтерактивні середовища.
Lyria 3 — модель для генерації музики. Вона орієнтована на створення аудіоконтенту, який може доповнювати відео, ігри, інтерактивні історії або слугувати самостійним творчим продуктом. У поєднанні з іншими моделями Lyria 3 дозволяє будувати сценарії, де:
відео, згенероване Veo, отримує саундтрек, створений Lyria,
Gemini генерує текстову історію, а Lyria — музичний супровід,
мультимодальні ембеддінги допомагають знаходити музичні фрагменти, які семантично відповідають певним сценам чи настроям.
Genie 3 — це вже інший рівень: світова модель, яка динамічно генерує інтерактивні середовища на основі користувацького вводу. На відміну від статичних зображень або відео, тут ідеться про простори, з якими можна взаємодіяти — фактично про симуляції чи ігрові світи, що народжуються з опису.
Користувач задає умови — наприклад, «платформер у стилі ретро‑піксель‑арту з низькою гравітацією» — і Genie 3 формує середовище, де ці умови реалізуються. Це відкриває можливості для:
швидкого прототипування ігор та інтерактивних досвідів,
створення навчальних симуляцій, які адаптуються під запит користувача,
дослідження поведінки агентів у згенерованих світах.
У поєднанні з Lyria 3, NanoBanana 2 та Veo 3.1 Lite виникає екосистема, де:
NanoBanana 2 відповідає за візуальні активи,
Veo — за кінематографічні або промо‑ролики,
Lyria — за музичний шар,
Genie — за інтерактивну «фізику» світу,
а Gemini — за логіку, наратив і клей між усіма цими компонентами.
Це вже не просто генерація контенту, а побудова цілісних мультимедійних досвідів, де кожна модель закриває свою частину задачі.
AI Studio як вітрина мультимодальності: від вибору моделі до коду в один клік
Хоча основний фокус сесії був на моделях, важливу роль відіграє й те, як до них можна дістатися. AI Studio виступає як фронтенд до всього цього стеку — і як інструмент, який дозволяє розробникам швидко експериментувати з мультимодальністю без складної інфраструктури.
Сервіс доступний безкоштовно за адресами a.dev, ai.studio або aistudio.google.com і працює з особистим акаунтом Gmail. Усередині інтерфейсу користувач бачить «пілки» моделей за модальностями: можна обрати Gemini для тексту й мультимодальних задач, Veo для відео, а також налаштувати додаткові інструменти — від структурованих відповідей до виконання коду.
У випадку з відео‑аналізом, описаним Бейлі, AI Studio дозволяє:
додати медіа з Google Drive, завантажити файли, записати аудіо, підключити камеру, вставити YouTube‑URL,
увімкнути «grounding» через Google Search, щоб модель могла підтягувати актуальні факти,
налаштувати «thinking»‑режим Gemini — від мінімального до високого, залежно від того, скільки токенів модель має витратити на «роздуми».
Після виконання запиту розробник може натиснути «Get code» і отримати готовий фрагмент коду для Python, TypeScript чи Java, який відтворює ту саму операцію через API: вибір моделі, передавання відео (чи YouTube‑URI), формування промпту. Це перетворює AI Studio на місток між «погратися з моделлю в браузері» та «вбудувати її в реальний застосунок».
Усе це особливо важливо саме в контексті мультимодальності. Коли модель працює одночасно з відео, аудіо, текстом і кодом, складність інтеграції різко зростає. Наявність середовища, де можна швидко перевірити, як модель поводиться з різними типами даних, а потім одним кліком винести це в код, суттєво знижує поріг входу.
Висновок: мультимодальність як новий базовий рівень для AI‑додатків
Те, що демонструє стек Google DeepMind, — це спроба зробити мультимодальність не «фічею», а базовою властивістю AI‑систем. Gemini приймає й генерує кілька типів медіа в одному інтерфейсі, мультимодальні ембеддінги дозволяють шукати й зіставляти контент через модальності, NanoBanana 2, Veo 3.1 Lite, Lyria 3 та Genie 3 закривають спеціалізовані креативні та інтерактивні сценарії.
На фоні ринку, де більшість моделей усе ще мислять категоріями «запит‑відповідь у тексті», це створює іншу парадигму: користувачі й розробники можуть працювати з відео, аудіо, зображеннями, кодом і текстом як з єдиним інформаційним полем. А інструменти на кшталт AI Studio роблять цей підхід доступним навіть тим, хто лише починає експериментувати з AI.
У найближчі роки саме такі мультимодальні стеки, ймовірно, визначатимуть, наскільки природними та багатими будуть взаємодії з ШІ — від освітніх платформ і креативних студій до ігрових світів і систем підтримки прийняття рішень.
Джерело
Build & deploy AI-powered apps — Paige Bailey, Google DeepMind