Модель штучного інтелекту Mirage від стартапу Decart здатна маніпулювати відео, яке транслюється в реальному часі. Модель перетворення потокового відео є одночасно вражаючим досягненням інженерної думки і ознакою того, як штучний інтелект незабаром може струсити індустрію прямих трансляцій. Такі інструменти, як Sora від OpenAI, можуть створювати все більш реалістичні відеоматеріали з допомогою текстової підказки. Mirage тепер дозволяє робити те саме безпосередньо під час зйомки в режимі реального часу.
Decart наразі запускає веб-сайт і додаток, що дозволяє користувачам створювати свої власні відео і змінювати кліпи YouTube. Сайт пропонує кілька стандартних тем, включаючи “аніме”, “Горизонт Дубая”, “кіберпанк” і “Версальський палац”.
Технологія Decart володіє великим потенціалом для ігор. У листопаді 2024 року компанія представила демо-версію гри під назвою Oasis, в якій використовувався аналогічний Mirage підхід для створення ігрового світу, подібного Minecraft, “на льоту”. Користувачі могли наближатися до текстур, а потім знову зменшувати масштаб, щоб створювати нові сцени всередині гри.
Маніпулювання живими сценами в режимі реального часу вимагає ще більших обчислювальних витрат. Декарт написав низькорівневий код, щоб вичавити з чипів Nvidia високошвидкісні обчислення для досягнення цієї мети. Mirage генерує 20 кадрів в секунду при роздільній здатності 768х432 пікселів і затримки в 100 мілісекунд на кадр – достатньо для кліпу TikTok пристойної якості.
Створення відео в режимі реального часу також є складним завданням, оскільки модель може легко екстремально відхилятися від реальності. Компанія Decart розробила спеціальну схему навчання і запуску моделі для досягнення більшої узгодженості. Компанія також розробила спосіб швидкого виправлення помилок у своїй моделі.
Decart заявляє, що працює над виходом у форматі Full HD і 4K і знаходить нові способи для користувачів управляти своїми відео.
Цей інструмент може стати популярним на таких платформах, як TikTok або Instagram. Достатньо буде короткої тесктової підказки, щоб модифікувати прясі трансляції.
Директор стартапу Дін Лейтерсдорф каже, що за межами його власної компанії тільки найбільші лабораторії штучного інтелекту – OpenAI, Anthropic, xAI, Google, Meta – мають технічну можливість створити щось на зразок Mirage. Але він не чекає, що його компанію куплять. “У нас є п’ять років, і ми спробуємо побудувати кіло-єдинорога”, – говорить він, крутячи ручку. “Це 1000 мільярдів доларів, або трильйон користувачів”.
