YouTube объявил о ряде обновлений функции автоматического дублирования видео на основе искусственного интеллекта, которая теперь доступна всем пользователям и поддерживает 27 языков. Платформа обмена видео, принадлежащая Google, уже некоторое время работает над добавлением многоязычной аудиоподдержки для видеоконтента.
Функцию автоматического дублирования с применением искусственного интеллекта YouTube впервые анонсировал в 2024 году. Первоначально доступ к нему имела ограниченная группа авторов контента, после чего в сентябре прошлого года эта функция была расширена до миллионов создателей контента по всему миру.
Эта функция позволяет просматривать видео на языках, отличных от родного языка пользователя, а также помогает авторам расширять аудиторию. YouTube сообщает авторам, что использование автоматического дублирования на основе искусственного интеллекта не ухудшает показатели алгоритмического поиска оригинального видео и потенциально может улучшить видимость контента на других языках. Авторы, которые не хотят использовать дублирование с помощью искусственного интеллекта, могут загружать свои собственные звуковые дорожки или полностью отключать эту функцию.
При просмотре видео наличие дополнительных языков можно проверить через значок настроек, выбрав пункт Audio track в меню. Там отображаются доступные альтернативные речевые аудиодорожки.
По данным YouTube, в декабре среднее количество пользователей, которые ежедневно просматривали не менее десяти минут видео с автоматическим дублированием на основе искусственного интеллекта, превысило шесть миллионов. В то же время использование автоматического дублирования означает, что иногда система может неточно передавать интонации автора, эмоциональную окраску речи или акустические особенности среды записи.
Для частичного решения таких нюансов функция Expressive Speech постепенно внедряется для всех каналов YouTube. Он поддерживает восемь языков: английский, хинди, французский, немецкий, индонезийский, итальянский, португальский и испанский. Предварительная демонстрация этой функции состоялась в 2024 году на мероприятии Made by YouTube.
Эта функция рассматривается как дальнейшее развитие технологии Expressive Captions, которая компенсирует недостаточную передачу нюансов речи и звукового контекста путем добавления акцентов, интонационных подсказок и стилистических характеристик в текст субтитров.
YouTube использует историю просмотров для определения языка воспроизведения видео по умолчанию. Новая опция Preferred Languages в настройках позволяет выбирать предпочитаемые языки для просмотра видео. В настольной версии нужно нажать значок профиля, перейти к Settings, затем к разделу Playback and performance и выбрать пункт Add or edit languages в секции Language. Здесь можно обозначить нужные языки.
Этот параметр доступен на Android, iOS и в веб-версии сервиса и применяется к дублированному аудио, названиям видео и описаниям. Если видео уже доступно на одном из выбранных языков, YouTube будет воспроизводить исходную звуковую дорожку без использования автоматического дублирования.
Платформа также тестирует функцию Lip Sync, которая синхронизирует движение губ говорящего с переведенным аудио таким образом, чтобы Дублированное видео выглядело максимально естественно и близко к оригиналу.
Дополнительно для авторов внедряется система Automatic Smart Filtering, которая помогает определить ситуации, когда дублирование может быть неуместным для сохранения аутентичности контента. В качестве примеров приводятся музыкальные клипы или видеоблоги без вещания.
В контексте более широкого использования искусственного интеллекта YouTube также недавно заявил о намерении более активно противодействовать массовому низкокачественному контенту, созданному автоматическими системами, и объявил о новых инструментах для авторов по выявлению и контролю deepfake-материалов.
