Нейросеть симулирует движения лица по статичному фото

Специалисты из Samsung использовали нейросеть, основанную на конкурирующе-генерирующем самообучении для запуска сервиса, который может «оживить» фотографию любого человека. Нейросеть работает как с реальными фото, так и с изображениями, включая картины и плакаты.

Алгоритм использует 2 элемента:

  • первый – обученный на огромной базе изображений, умеет выделять органы и черты лица человека;
  • второй – основываясь на данных первого, моделирует серию изображений, которые затем превращаются в видеоролик.

Кроме того, существует третий алгоритм – Discriminator, он проверяет получившееся видео, оценивая его похожесть на видеоролики с интернета. Если по каким-то причинам Discriminator забракует симуляцию движений, то первые два элемента начинают работу заново.

Созданные таким образом движения даже могут имитировать речь (ну или что-то на нее похожее). Наглядная демонстрация: