Исследователям из Университета Дьюка в Северной Каролине (США) удалось сделать то, что раньше было возможно только в фильмах. А именно – превращать фотографии с недостаточным разрешением в более мегапиксельные снимки. Нейросеть PULSE способна трансформировать пикселированное изображение человека низкого качества в портрет с высокой четкостью и проработкой деталей.
«Никогда еще не удавалось воспроизвести изображение сверхвысокого разрешения с таким количеством мелких деталей», – рассказала соавтор разработки Синтия Рудин.
Изображения низкого разрешения – это снимок с недостаточным количеством данных. Поэтому алгоритм по сути «додумывает» и дорисовывает мелкие черты и детали лица, мимические морщины, ресницы и тому подобное. Портрет, соответствующий оригиналу, невозможно восстановить с пикселированного изображения в принципе, считают исследователи.
Поэтому изображения получаются очень реалистичными, но при этом нереальными – такого лица может не существовать.
Существующие алгоритмы повышения разрешения изображения учатся на основе снимков с большим разрешением и их уменьшенными копиями. Но такой метод не позволяет качественно подобрать текстуры для волос, кожи и других сложных элементов. Из-за этого финальное дорисованное нейросетью изображение все равно выглядит нечетко.
Исследователи из Университета Дьюка использовали другой принцип, использовав нейросеть, самостоятельно генерирующую изображение. Система формирует изображение высокой четкости из своего массива данных. Полученное изображение уменьшается традиционным алгоритмом и сравнивается с заданным снимком. Процесс повторяется, пока сгенерированный уменьшенный снимок на 100% не совпадет с исходным изображением.
Эксперты соглашаются с тем, что результаты исследования являются достижением в сфере машинного обучения. Но о прорыве практического использования речь не идет. На этом же настаивают и авторы разработки.
Хотя нейросеть не способна восстановить оригинальный портрет человека с фотографии низкого разрешения, она пригодна для противоположного: видоизменять лица людей. Система PULSE генерирует четкий портрет, но узнать в нем реального человека невозможно.
Например, система пригодится полицейским, которым нужно скрыть лицо информаторов или ключевых свидетелей, журналистам. Раньше лицо таких людей размывали в фоторедакторе, и существовали опасения, что этот процесс может быть обратимым.
Также эта технология может совершить прорыв в сфере медиа и кино, где конкретное лицо не особо важно, а роль играет образ. Нейросеть позволит получить сверхвысокую четкость старых фильмов, архивной кинохроники, мультфильмов. Герои не будут на 100% соответствовать оригиналу, но конечный результат будет выглядеть привлекательно.
