Троицы ученых из Стэнфордского компьютерного университета разработали искусственный интеллект, позволяющий быстро найти где было сделано то или иное фото. Для работы алгоритм использует базу фотографий Google Street View и находит места с точностью выше, чем человек. Это делает Pigeon лучшим игроком в игру GeoGuessr – популярной онлайн-игре на угадывание местоположения.
Это не значит, что искусственный интеллект может точно до сантиметра определить, где было сделано фото. Он может надежно определить страну и сделать хорошее предположение в пределах нескольких десятков километров от правильного местонахождения.
PIGEON правильно угадывает 92 процента стран и имеет среднюю погрешность в километрах 44 км, что означает оценку GeoGuessr 4525. Согласно исследовательской работе, PIGEON размещает около 40 процентов угадок в пределах 25 км от цели.
Авторы искусственного интеллекта Лукас Хаас, Михал Скрета и Сайлас Альберти в своей статье под названием «PIGEON: прогнозирование геолокации изображений» описывают, как они разработали этот алгоритм. Эта геолокационная модель изображения получена из их собственной предварительно обученной модели CLIP под названием StreetCLIP. Модель дополняется набором семантических геоячеек – ограниченных участков земли, похожих на округа или провинции, учитывающие специфические для региона детали, такие как дорожная разметка, качество инфраструктуры и уличные знаки – и ProtoNets – метод классификации с помощью нескольких примеров.
PIGEON недавно соперничал против Тревора Рейнболта, игрока с самым высоким рейтингом в игре GeoGuessr и победил. Ученые в своей статье утверждают, что PIGEON является первым искусственным интеллектом, постоянно побеждающим игроков-людей в GeoGuessr, попав до 0,01 процента лучших игроков. В GeoGuessr играли около 50 миллионов или больше людей.
Геолокация изображений является важным практическим инструментом, но сейчас это нечто вроде искусства среди исследователей открытых источников. Подобную методику используют в своей работе, например такие журналистские исследовательские организации, как Bellingcat. К примеру, именно таким методом удалось выяснить размещение российской команды, программирующей ракеты, атакующие Украину.
Хотя PIGEON учился геолокации изображений из базы Street View, Альберти считает, что эта техника может облегчить геолокацию почти любого изображения, по крайней мере, сделанного на открытом воздухе. Он сказал, что он и его коллеги испытали систему с наборами данных изображений, которые не включают в себя изображение Street View, и она сработала очень хорошо.
Отвечая на вопрос, усложнит ли эта технология скрытие места съемки изображений, Альберти сказал, что если вы находитесь на любой улице, геолокация станет достаточно вероятной, поскольку есть очень много контрольных знаков о том, где вы находитесь.
