Компанія Sony оприлюднила патентну заявку на технологію, що використовує штучний інтелект для генерації наступного кадру ігрового зображення ще до того, як графічний процесор завершить обробку поточної сцени. Основною метою розробки є зменшення візуальних затримок та усунення ефекту розриву зображення, притаманного традиційним методам генерації проміжних кадрів. Поточні рішення часто потребують двох уже готових кадрів для побудови між ними нового, що неминуче збільшує час обробки інформації та створює помітну затримку введення для гравця.
Запропонована система функціонує за принципом одночасного виконання з основним конвеєром графічного рендерингу. Поки апаратне забезпечення готує наступний повноцінний кадр, навчена нейронна мережа на основі останнього отриманого зображення та даних від контролера формує прогноз вигляду наступної сцени. Використання даних про натискання кнопок та векторів руху дозволяє штучному інтелекту точніше передбачати зміщення об’єктів у просторі, що підвищує імовірність візуальної відповідності згенерованого прогнозу реальним даним, які очікуються від графічного рушія гри.
Архітектура технології базується на спільній роботі кодувальника та декодувальника. Кодувальник перетворює завершений кадр у компактне числове представлення, на основі якого декодувальник створює передбачуване зображення для буфера дисплея. Цей процес навчання автоматизований і не потребує ручного розмічення даних, оскільки система порівнює власні прогнози з реальними відеокадрами. При досягненні певного порогу похибки нейронна мережа коригує свої вагові коефіцієнти для підвищення точності подальших передбачень у різних ігрових ситуаціях.
Альтернативний варіант, описаний у документації, передбачає використання алгоритму зсуву піксельних блоків згідно з векторами руху без залучення нейронних мереж. Однак ефективність такого методу безпосередньо залежить від складності сцени та швидкості оновлення кадрів. Обидва підходи спрямовані на підтримку стабільної частоти кадрів у моменти, коли обчислювальні потужності графічного процесора стають недостатніми для миттєвого рендерингу, що має критичне значення для ігрового процесу в умовах високої динаміки та деталізації графіки.
Варто зазначити, що представлений патент містить лише теоретичні опис архітектури та принципи навчання системи. У документі відсутні результати вимірювань реальної продуктивності, швидкості обробки кадрів або оцінки візуальних спотворень, які можуть виникнути при роботі такого алгоритму. На даний момент залишається відкритим питання, чи зможе нейромережа генерувати зображення достатньої якості з мінімальними витратами часу, щоб виправдати впровадження цієї технології в майбутні ігрові консолі або комп’ютерне програмне забезпечення.
