У дослідженнях генеративних зображень і відео більшість уваги зазвичай дістається архітектурам, новим варіантам дифузійних процедур чи хитрим оптимізаторам. Але в роботі з реальними системами на масштабі, подібному до Veo чи Nano Banana від Google DeepMind, вирішальним чинником дедалі частіше виявляється зовсім інше — те, що саме ми подаємо моделям на вхід і як саме це робимо.
Сандер Ділеман, дослідник Google DeepMind з понад десятирічним досвідом і член команди генеративних медіа, яка працює над моделями на кшталт Veo та Nano Banana, у своїй доповіді про побудову дифузійних моделей для зображень і відео підкреслює: якість даних і їхнє ретельне кураторство часто дають більший приріст якості, ніж будь-які «косметичні» зміни в архітектурі чи оптимізаторі. У великих системах саме рішення щодо даних фактично визначають, що модель уміє, як поводиться та де ламається.
Від культури «готових датасетів» до епохи активного кураторства
Традиційна академічна культура машинного навчання довгі роки будувалася навколо стандартних датасетів. Дослідники брали ImageNet, CIFAR, COCO чи інший загальноприйнятий набір, тренували модель, а потім порівнювали метрики з попередніми роботами. Такий підхід зручний для наукових публікацій, але він майже не стимулює замислюватися над тим, що саме міститься в даних, наскільки вони репрезентативні, чисті, збалансовані чи релевантні конкретній задачі.
У генеративних медіасистемах, які мають працювати на масштабі інтернету й видавати правдоподібні, керовані зображення та відео, ця інерція стає гальмом. Моделі більше не тренуються на невеликих, ретельно анотованих наборах. Вони споживають масиви мультимедійних даних, де якість, структура, розподіл жанрів, стилів, сюжетів і навіть артефактів зйомки можуть радикально відрізнятися.
У такому середовищі «просто взяти готовий датасет» уже не працює. Потрібно буквально дивитися на свої дані — аналізувати, відбирати, фільтрувати, балансувати, а іноді й відмовлятися від великих шматків корпусу, якщо вони систематично погіршують поведінку моделі. Ділеман наголошує, що це не просто корисна практика, а критично важливий елемент побудови сучасних генеративних систем.
Це вимагає певного «розучування» старих звичок. Замість того, щоб зосереджуватися на ще одному трюку з архітектурою, дослідникам і інженерам доводиться інвестувати час у те, що раніше вважалося другорядним: у розуміння структури власного датасету.
Чому додаткова година на дані цінніша за тиждень тюнінгу моделі
У практиці побудови великих дифузійних моделей для зображень і відео завжди є спокуса: якщо якість не влаштовує, перше бажання — змінити архітектуру, додати шар, змінити нормалізацію, спробувати інший оптимізатор чи набір гіперпараметрів. Це звична інженерна реакція, але в генеративних медіа вона дедалі частіше виявляється не найефективнішою.
Ділеман прямо формулює тезу: час, витрачений на покращення даних, часто є кращою інвестицією, ніж час, витрачений на тюнінг моделі чи оптимізатора. Причина в тому, що:
по-перше, архітектури дифузійних моделей для зображень і відео вже досягли певної зрілості. Базові будівельні блоки — U-Net-подібні мережі, латентні автоенкодери, стандартні дифузійні процедури — добре відпрацьовані. Невеликі модифікації зазвичай дають інкрементальні, а не революційні покращення;
по-друге, оптимізатори й гіперпараметри також перебувають у зоні «зменшуваної віддачі». Можна витратити багато експериментів, щоб виграти кілька відсотків за певною метрикою, але це рідко змінює фундаментальну поведінку моделі;
по-третє, саме дані визначають, які патерни модель узагалі здатна вивчити. Якщо в корпусі мало прикладів певного типу сцен, ракурсів, стилів чи динаміки, жоден оптимізатор не змусить модель «вигадати» їх із нуля. Вона просто не бачила достатньо таких прикладів, щоб сформувати стійке уявлення.
У результаті виявляється, що ретельне кураторство — від видалення систематично проблемних прикладів до цілеспрямованого додавання недопредставлених сценаріїв — може радикально змінити якість і надійність генерації. Там, де архітектурні зміни дають невеликий приріст, зміни в даних здатні буквально переписати можливості моделі.
Дані як джерело реалізму та керованості
Для генеративних моделей зображень і відео важлива не лише «красивість» результату, а й те, наскільки він реалістичний і наскільки добре піддається керуванню. Обидва ці аспекти напряму залежать від того, як сформовано тренувальний датасет.
Реалізм у зображеннях і відео — це не тільки висока роздільна здатність чи відсутність артефактів. Це відповідність фізиці сцени, правдоподібна геометрія, коректні пропорції, природна поведінка світла, тіней, матеріалів. Якщо в даних багато прикладів із дивними спотвореннями, компресійними артефактами, неприродними кольорами чи агресивним постобробленням, модель засвоює й ці патерни. Вони стають частиною її уявлення про «норму» і потім просочуються в результати.
Керованість — здатність моделі точно виконувати інструкції, відповідати текстовим описам, дотримуватися заданих стилів чи композицій — так само формується даними. Якщо текстові описи в корпусі нечіткі, суперечливі або слабо пов’язані з візуальним вмістом, модель вчиться асоціаціям низької якості. У такому разі навіть найвитонченіші механізми контролю поверх дифузії не компенсують фундаментальну невідповідність між умовою й зображенням, яку модель засвоїла під час навчання.
У великих системах, подібних до Veo чи Nano Banana, де моделі мають працювати з широким спектром сюжетів, жанрів і стилів, склад і якість даних фактично визначають, які типи сцен будуть відтворюватися природно, а які — з помилками або взагалі не з’являтимуться. Якщо певні види руху, ракурси чи освітлення майже відсутні в тренувальному наборі, модель або не зможе їх відтворити, або робитиме це з характерними збоями.
Таким чином, кураторство даних стає не просто «очищенням шуму», а інструментом формування простору можливостей моделі. Воно визначає, які візуальні й динамічні структури будуть для неї базовими, а які залишаться на периферії або взагалі поза її досяжністю.
Латентні представлення: як компресія підсвічує роль даних
Сучасні дифузійні моделі для зображень і відео рідко працюють безпосередньо з пікселями. Замість цього вони оперують у латентному просторі, який створюється автоенкодером: нейромережа-енкодер стискає зображення чи відео в компактне представлення, а декодер відновлює його назад у піксельний простір.
Цей підхід, відомий як латентна дифузія, став стандартом для моделей на кшталт Stable Diffusion і використовується в різних варіаціях у промислових системах. Наприклад, типове зображення 256×256 з трьома каналами RGB перетворюється на латентну «сітку» 32×32 з більшою кількістю каналів. Просторову структуру зберігають, але роздільна здатність зменшується, а додаткові канали компенсують втрату деталей, які б зникли при простому ресайзі.
Для відео виграш ще більший: завдяки латентному представленню розмір тензорів може зменшуватися на два порядки. Це буквально різниця між тим, щоб мати змогу завантажити приклад у пам’ять для тренування, і повною неможливістю працювати з такими даними.
Важливий нюанс: ці автоенкодери навмисно простіші за класичні кодеки на кшталт H.265 чи JPEG. Стандартні кодеки оптимізовані під максимальне стиснення, але при цьому сильно «ламають» структуру даних, роблячи її незручною для нейромереж. Латентні автоенкодери, навпаки, зберігають топологію — двовимірну (або тривимірну, якщо враховувати час у відео) сітку, до якої добре пристосовані сучасні архітектури.
Візуалізації на кшталт тих, що показано в роботі EQ-VAE, демонструють, що латентні сітки все ще чітко відображають семантичний вміст зображення: можна розпізнати, яка тварина зображена, хоча дрібна текстура й локальні деталі згладжені. Це означає, що автоенкодер не «вигадує» нову абстракцію світу, а радше компактно кодує те, що вже є в пікселях.
І саме тут знову проявляється центральна роль даних. Автоенкодер вчиться стискати й відновлювати ті приклади, які йому показують. Якщо в корпусі багато шумних, артефактних або стилістично однорідних зображень, латентний простір буде пристосований саме до них. Усе, що виходить за межі цього розподілу, відновлюватиметься гірше, а отже, і дифузійна модель, яка працює в цьому латентному просторі, матиме вужчі можливості.
Інакше кажучи, навіть на рівні «передмоделі» — автоенкодера — рішення щодо даних визначають, які аспекти візуального світу будуть збережені, а які вважатимуться другорядними й жертвуватимуться заради стиснення. Це ще один шар, де кураторство даних безпосередньо впливає на кінцеву якість генерації.
Дані як джерело можливостей і точок відмови
У великих генеративних медіасистемах часто говорять про «можливості моделі» — які сцени вона може згенерувати, наскільки стабільно поводиться за різних умов, як реагує на складні запити. З іншого боку, не менш важливі «режими відмови»: типові помилки, дивні артефакти, некоректні інтерпретації інструкцій.
Ділеман підкреслює, що на масштабі сучасних систем саме рішення щодо даних значною мірою визначають і те, й інше. Невеликі зміни в архітектурі чи оптимізаторі рідко радикально змінюють характер помилок. Вони можуть трохи згладити артефакти, прискорити збіжність, покращити стабільність навчання, але не переписують фундаментальну статистику того, що модель бачила.
Якщо в тренувальному наборі систематично присутні певні перекоси — наприклад, переважання одного типу сцен, стилів, культурних контекстів або технічних умов зйомки, — модель відтворюватиме ці перекоси. Вони стануть частиною її «нормальної» поведінки. І навпаки, відсутність або слабка представленість певних сценаріїв майже гарантовано призведе до того, що модель або не зможе їх відтворити, або робитиме це з характерними збоями.
У цьому сенсі дані виконують роль не просто «палива» для навчання, а своєрідної специфікації моделі. Вони задають:
які типи сцен і динаміки вважаються базовими;
які стилі й візуальні мови модель вважає типовими;
які відповідності між текстом і візуальним вмістом вона вважає «правильними»;
які артефакти й спотворення сприймає як норму.
Будь-яка зміна цієї специфікації — наприклад, через агресивніше очищення корпусу, додавання нових типів даних або ребалансування існуючих — може суттєво змінити як можливості, так і режими відмови моделі. І це те, чого майже неможливо досягти, просто «підкрутивши» кілька шарів у нейромережі.
Висновок: ера «секретного соусу» в даних
Генеративні моделі для зображень і відео, побудовані на дифузійних механізмах і латентних представленнях, уже вийшли з лабораторій у широкий світ. Вони стають основою інструментів для творчості, виробництва контенту, прототипування й візуалізації. На цьому етапі питання не лише в тому, наскільки вишуканою є архітектура, а й у тому, наскільки відповідально й розумно сформовано дані, на яких вона навчена.
Сандер Ділеман наголошує: кураторство даних — це не допоміжна задача, а центральний важіль якості. Воно часто дає більший ефект, ніж тонкі налаштування моделі чи оптимізатора, і в значній мірі визначає як реалістичність і керованість результатів, так і характер помилок.
У світі, де архітектурні ідеї швидко поширюються й стандартизуються, саме робота з даними дедалі частіше стає тим «секретним соусом», який відрізняє посередню генеративну систему від справді надійної й корисної. І для інженерів, і для дослідників це означає зміну фокуса: від нескінченного тюнінгу моделей — до глибокого, системного розуміння того, що саме ми вчимо ці моделі бачити.
Джерело
Building Generative Image & Video models at Scale – Sander Dieleman (Veo and Nano Banana)