Ваши глаза могут показать больше, чем вы могли бы подумать, поскольку исследователи теперь могут использовать технологию компьютерного зрения, чтобы реконструировать 3D-изображение сцены из отображений на глазных яблоках человека. Система компьютерного зрения использует фотографии лица человека под разными углами, чтобы воспроизвести сцену, которую они просматривают.
Цзя-Бин Хуан и его коллеги из Университета Мэриленда, Колледж-Парк, разработали модель компьютерного зрения, которая производит от пяти до 15 цифровых фотографий лица человека под разными углами, когда они смотрят на сцену, и реконструирует эту сцену из отражений в глазах их.
Метод адаптирует технику под названием нейронные поля излучения (NeRF), которая использует нейронные сети для определения плотности и цвета объектов, которые видят компьютер. NeRF обычно работает, глядя прямо на сцену, а не просматривая отражение в глазных яблоках человека.
Версия Хуанга строит сцену путем экстраполяции из квадрата в среднем 20 на 20 пикселей в каждом глазу. Этот метод может дать то, что исследователи называют «умными» результатами в воспроизведении реальных объектов, хотя они размыты из-за сложности воспроизведения формы роговицы – прозрачного наружного слоя в передней части глаза.
Во время тестирования на клипах по музыкальным видео Майли Сайрус и Леди Гаги эта техника смогла определить грубую форму объектов в глазах певиц, но трудно было воспроизвести детали.Хуан и его коллеги отказались говорить об этой истории, ссылаясь на политику конференции, на которую была представлена их статья с описанием технологии.
Работа основана на исследовании Ко Нишино и Шри Наяра из Колумбийского университета в Нью-Йорке в середине 2000-х годов.
«Эта работа произвела фурор, показав, как поверхность роговицы можно использовать как приближение к изогнутому зеркалу для создания панорамных изображений, – говорит Серж Белонги из Университета Копенгагена, Дания. – Новая работа распространяет эту концепцию на задачу 3D-реконструкции. Результаты достаточно впечатляющие, и они снова заставят людей задуматься о том, что они открывают, когда их фотографируют камеры с постоянно растущим разрешением».
