Компания Sony обнародовала патентную заявку на технологию, использующую искусственный интеллект для генерации следующего кадра игрового изображения еще до того, как графический процессор завершит обработку текущей сцены. Основной целью разработки является уменьшение визуальных задержек и устранение эффекта разрыва изображения, присущего традиционным методам генерации промежуточных кадров. Текущие решения часто требуют двух уже готовых кадров для построения между ними нового, что неизбежно увеличивает время обработки информации и создает заметную задержку ввода для игрока.
Предложенная система функционирует по принципу одновременного выполнения с основным конвейером графического рендеринга. Пока аппаратное обеспечение готовит следующий полноценный кадр, обученная нейронная сеть на основе последнего полученного изображения и данных от контроллера формирует прогноз вида следующей сцены. Использование данных о нажатии кнопок и векторов движения позволяет искусственному интеллекту точнее предсказывать смещение объектов в пространстве, что повышает вероятность визуального соответствия сгенерированного прогноза реальным данным, которые ожидаются от графического движка игры.
Архитектура технологии базируется на совместной работе кодировщика и декодировщика. Кодировщик превращает завершенный кадр в компактное числовое представление, на основе которого декодировщик создает предсказываемое изображение для буфера дисплея. Этот процесс обучения автоматизирован и не требует ручной разметки данных, поскольку система сравнивает собственные прогнозы с реальными видеокадрами. При достижении определенного порога погрешности нейронная сеть корректирует свои весовые коэффициенты для повышения точности дальнейших предсказаний в различных игровых ситуациях.
Альтернативный вариант, описанный в документации, предполагает использование алгоритма сдвига пиксельных блоков согласно векторам движения без привлечения нейронных сетей. Однако эффективность такого метода напрямую зависит от сложности сцены и скорости обновления кадров. Оба подхода направлены на поддержание стабильной частоты кадров в моменты, когда вычислительные мощности графического процессора становятся недостаточными для мгновенного рендеринга, что имеет критическое значение для игрового процесса в условиях высокой динамики и детализации графики.
Стоит отметить, что представленный патент содержит лишь теоретическое описание архитектуры и принципы обучения системы. В документе отсутствуют результаты измерений реальной производительности, скорости обработки кадров или оценки визуальных искажений, которые могут возникнуть при работе такого алгоритма. На данный момент остается открытым вопрос, сможет ли нейросеть генерировать изображения достаточного качества с минимальными затратами времени, чтобы оправдать внедрение этой технологии в будущие игровые консоли или компьютерное программное обеспечение.
