Ваші очі можуть показати більше, ніж ви могли б подумати, оскільки дослідники тепер можуть використовувати технологію комп’ютерного зору, щоб реконструювати 3D-зображення сцени з відображень на очних яблуках людини. Система комп’ютерного зору використовує фотографії обличчя людини під різними кутами, щоб відтворити сцену, яку вони переглядають.
Цзя-Бін Хуан і його колеги з Університету Меріленда, Коледж-Парк, розробили модель комп’ютерного зору, яка робить від п’яти до 15 цифрових фотографій обличчя людини під різними кутами, коли вони дивляться на сцену, і реконструює цю сцену з відображень в їхніх очах.
Метод адаптує техніку під назвою нейронні поля випромінювання (NeRF), яка використовує нейронні мережі для визначення щільності та кольору об’єктів, які «бачить» комп’ютер. NeRF зазвичай працює, дивлячись безпосередньо на сцену, а не переглядаючи відображення в очних яблуках людини.
Версія Хуанга будує сцену шляхом екстраполяції з квадрата в середньому 20 на 20 пікселів у кожному оці. Цей метод може дати те, що дослідники називають «розумними» результатами у відтворенні реальних об’єктів, хоча вони розмиті через складність відтворення форми рогівки – прозорого зовнішнього шару в передній частині ока.
Під час тестування на кліпах із музичних відео Майлі Сайрус і Леді Гаги ця техніка змогла визначити грубу форму об’єктів в очах співачок, але було важко відтворити деталі.
Хуан і його колеги відмовилися говорити про цю історію, посилаючись на політику конференції, на яку було подано їхню статтю з описом технології.
Робота базується на дослідженні Ко Нішіно та Шрі Наяра з Колумбійського університету в Нью-Йорку в середині 2000-х років.
«Ця робота викликала фурор, показавши, як поверхню рогівки можна використовувати як наближення до вигнутого дзеркала для створення панорамних зображень, — говорить Серж Белонгі з Університету Копенгагена, Данія. – Нова робота поширює цю концепцію на задачу 3D-реконструкції. Результати досить вражаючі, і вони знову змусять людей задуматися про те, що вони відкривають, коли їх фотографують камери з постійно зростаючою роздільною здатністю».
