Дослідникам з Університету Дьюка в Північній Кароліні (США) вдалося зробити те, що раніше було можливо лише у фільмах. А саме – перетворювати фотографії з недостатньою роздільною здатністю на більш мегапіксельні знімки. Нейромережа PULSE здатна трансформувати піксельоване зображення людини низької якості в портрет з високою чіткістю й опрацюванням деталей.
«Ніколи ще не вдавалося відтворити зображення надвисокої роздільної здатності з такою кількістю дрібних деталей», – розповіла співавтор розробки Синтія Рудін.
Зображення низької роздільної здатності – це знімок із недостатньою кількістю даних. Тому алгоритм по суті «додумує» і домальовує дрібні риси і деталі обличчя, мімічні зморшки, вії тощо. Портрет, який відповідає оригіналу, неможливо відновити з піксельованого зображення в принципі, вважають дослідники.
Тому зображення виходять надзвичайно реалістичними, але при цьому нереальними – такої особи може не існувати.
Наявні алгоритми підвищення роздільної здатності зображення вчаться на основі знімків із великою роздільною здатністю та їхніми зменшеними копіями. Але такий метод не дозволяє якісно підібрати текстури для волосся, шкіри та інших складних елементів. Через це фінальне домальоване нейромережею зображення все одно виглядає нечітко.
Дослідники з Університету Дьюка використали інший принцип, використавши нейромережу, яка самостійно генерує зображення. Система формує зображення високої чіткості зі свого масиву даних. Отримане зображення зменшується традиційним алгоритмом та порівнюється із заданим знімком. Процес повторюється, поки згенерований зменшений знімок на 100% не буде збігатися з вихідним зображенням.
Експерти погоджуються з тим, що результати дослідження є досягненням у сфері машинного навчання. Але про прорив практичного використання мови не йде. На цьому ж наполягають і автори розробки.
Хоча нейромережа не здатна відновити оригінальний портрет особи з фотографії низької роздільної здатності, вона придатна для протилежного: видозмінювати обличчя людей. Система PULSE генерує чіткий портрет, але впізнати в ньому реальну людину неможливо.
Наприклад, система знадобиться поліцейським, яким потрібно приховати обличчя інформаторів або ключових свідків, журналістам. Донині обличчя таких людей розмивали у фоторедакторі, й існували побоювання, що цей процес може бути оборотним.
Також ця технологія може зробити прорив у сфері медіа та кіно, де конкретне обличчя не особливо важливе, а роль відіграє образ. Нейромережа дозволить отримати надвисоку чіткість старих фільмів, архівної кінохроніки, мультфільмів. Герої не будуть на 100% відповідати оригіналу, але кінцевий результат виглядатиме привабливо.
