Трійця вчених зі Стенфордського комп’ютерного університету розробили штучний інтелект, який дозволяє швидко знайти де було зроблене те чи інше фото. Для своєї роботи алгоритм використовує базу фотографій Google Street View і знаходить місця з точністю вище, ніж людина. Це робить Pigeon кращим гравцем у гру GeoGuessr – популярній онлайн-грі на вгадування місця розташування.
Це не означає, що штучний інтелект може точно до сантиметра визначити, де було зроблено фото. Натомість він може надійно визначити країну та зробити гарне припущення в межах кількох десятків кілометрів від правильного місцезнаходження.
Наразі PIGEON правильно вгадує 92 відсотки країн і має середню похибку в кілометрах 44 км, що означає оцінку GeoGuessr 4525. Згідно з дослідницькою роботою, PIGEON розміщує близько 40 відсотків вгадок у межах 25 км від цілі.
Автори цього штучного інтелекту Лукас Хаас, Міхал Скрета та Сайлас Альберті у своїй статті під назвою «PIGEON: прогнозування геолокації зображень» описують, як вони розробили цей алгоритм. Ця модель геолокації зображення отримана з їх власної попередньо навченої моделі CLIP під назвою StreetCLIP. Модель доповнюється набором семантичних геокомірок – обмежених ділянок землі, схожих на округи чи провінції, які враховують специфічні для регіону деталі, такі як дорожня розмітка, якість інфраструктури та вуличні знаки – і ProtoNets – метод класифікації за допомогою лише кілька прикладів.
PIGEON нещодавно змагався проти Тревора Рейнболта, гравця з найвищим рейтингом у грі GeoGuessr і переміг. Вчені у своїй статті стверджують, що PIGEON є першим штучним інтелектом, який постійно перемагає гравців-людей у GeoGuessr , потрапивши до 0,01 відсотка найкращих гравців. У GeoGuessr грали близько 50 мільйонів або більше людей.
Геолокація зображень є важливим практичним інструментом, але нині це щось на кшталт мистецтва серед дослідників відкритих джерел. Подібну методику використовують у своїй роботі, наприклад, такі журналістські дослідницькі організації, як Bellingcat. Наприклад, саме таким методом вдалося з’ясувати розміщення російської команди, яка програмує ракети, що атакують Україну.
Хоча PIGEON навчався геолокації зображень із бази Street View, Альберті вважає, що ця техніка може полегшити геолокацію майже будь-якого зображення, принаймні зробленого на відкритому повітрі. Він сказав, що він і його колеги випробували систему з наборами даних зображень, які не включають зображення Street View, і вона спрацювала дуже добре.
Відповідаючи на запитання, чи ця технологія ускладнить приховування місця зйомки зображень, Альберті сказав, що якщо ви перебуваєте на будь-якій вулиці, геолокація стане досить ймовірною, оскільки є дуже багато контрольних знаків про те, де ви знаходитесь.
