Модель искусственного интеллекта Mirage от стартапа Decart способна манипулировать видео, которое транслируется в реальном времени. Модель преобразования потокового видео является одновременно впечатляющим достижением инженерной мысли и признаком того, как искусственный интеллект вскоре может встряхнуть индустрию прямых трансляций. Такие инструменты, как Sora от OpenAI, могут создавать все более реалистичные видеоматериалы с помощью текстовой подсказки. Mirage теперь позволяет вам делать то же самое непосредственно при съемке в реальном времени.
Decart в настоящее время запускает веб-сайт и приложение, которое позволяет пользователям создавать свои собственные видео и изменять клипы YouTube. Сайт предлагает несколько стандартных тем, включая» Аниме»,» горизонт Дубая»,» киберпанк «и»Версальский дворец».
Технология Decart обладает большим потенциалом для игр. В ноябре 2024 года компания представила демо-версию игры под названием Oasis, в которой использовался аналогичный Mirage подход для создания игрового мира, подобного Minecraft, «на лету». Пользователи могли приближаться к текстурам, а затем снова уменьшать масштаб, чтобы создавать новые сцены внутри игры.
Манипулирование живыми сценами в реальном времени требует еще больших вычислительных затрат. Декарт написал низкоуровневый код, чтобы выжать из чипов Nvidia высокоскоростные вычисления для достижения этой цели. Mirage генерирует 20 кадров в секунду при разрешении 768х432 пикселей и задержке в 100 миллисекунд на кадр — достаточно для клипа TikTok приличного качества.
Создание видео в реальном времени также является сложной задачей, поскольку модель может легко сильно отклоняться от реальности. Компания Decart разработала специальную схему обучения и запуска модели для достижения большей согласованности. Компания также разработала способ быстрого исправления ошибок в своей модели.
Decart заявляет, что работает над выходом в формате Full HD и 4K и находит новые способы для пользователей управлять своими видео.
Этот инструмент может стать популярным на таких платформах, как TikTok или Instagram. Достаточно будет короткой тесктовой подсказки, чтобы модифицировать пряные трансляции.
Директор стартапа Дин Лейтерсдорф говорит, что за пределами его собственной компании только крупнейшие лаборатории искусственного интеллекта — OpenAI, Anthropic, xAI, Google, Meta — имеют техническую возможность создать что-то вроде Mirage. Но он не ждет, что его компанию купят. «У нас есть пять лет, и мы попытаемся построить кило-единорога», — говорит он, крутя ручку. «Это 1000 миллиардов долларов, или триллион пользователей».
