Обычные камеры смартфонов могут стать мощными сенсорами. Человеческий глаз способен воспринимать только три области электромагнитного спектра — красную, зеленую и синюю (RGB) — в видимом диапазоне. Вместо этого датчики камер современных смартфонов потенциально гиперспектральны, а это означает, что каждый пиксель может быть чувствительным к гораздо большему количеству спектральных диапазонов.

Сейчас ученые предложили простой способ превратить любую стандартную камеру смартфона в гиперспектральный сенсор-достаточно разместить в поле зрения карточку с диаграммой. По словам исследователей, новая технология, на которую уже подана заявка на патент, может найти применение в сфере обороны, безопасности, медицины, криминалистики, сельского хозяйства, экологического мониторинга, промышленного контроля качества, а также в проверке качества продуктов питания и напитков.

Используя камеру смартфона и спектральную цветовую диаграмму, исследователи смогли определить диапазон пропускания элитного виски и подтвердить его подлинность.

» В центре этой работы лежит простая, но мощная идея — фото никогда не является просто изображением», — отметил Семин Квон, научный сотрудник кафедры биомедицинской инженерии Университета Пердью (Вест-Лафайет, штат Индиана). — «Каждое фото содержит скрытую спектральную информацию, которую можно открыть. Получая ее, мы способны превращать повседневную фотографию в инструмент науки».

Каждая молекула имеет уникальную спектральную «сигнатуру» — степень, в которой она поглощает или отражает различные длины волн света. Высокая чувствительность к различению цветов, присущая научным гиперспектральным сенсорам, позволяет идентифицировать химические вещества по их спектральным характеристикам. Это открывает широкий спектр возможностей в медицинской диагностике, различении подлинного и фальсифицированного виски, мониторинге качества воздуха, а также в неразрушающем анализе пигментов в произведениях искусства, отметил профессор биомедицинской инженерии Университета Пердью Ян Ким.

Предыдущие исследования уже рассматривали различные способы восстановления спектральных данных с обычных RGB-камер смартфонов. Однако машинные алгоритмы, разработанные для этой задачи, обычно в значительной степени зависят от конкретных данных, на которых они обучаются. Это ограничивает их универсальность и делает уязвимыми ошибки, связанные с различиями в освещении, форматах изображений и т. д. В другом направлении использовались специальные аппаратные насадки, но они дорогие и громоздкие.

В новом исследовании ученые создали специальную цветовую референсную диаграмму, которую можно напечатать на карточке. Они также разработали алгоритм, анализирующий фотографии, сделанные смартфоном с этой картой, и учитывающий условия освещения и другие факторы. Такой подход позволяет получать гиперспектральные данные из обычных снимков с точностью 1,6 нанометра в определении длины волны видимого света, что сопоставимо с результатами научных спектрометров.

«Короче говоря, эта технология может превратить обычный смартфон в карманный спектрометр», — подчеркнул Ким.

В настоящее время ученые работают над применением новой методики в цифровой и мобильной медицине как в развитых странах, так и в условиях с ограниченными ресурсами. «Мы искренне рады, что это открывает путь к тому, чтобы сделать спектроскопию доступной и недорогой», — добавил Квон.

Похоже, что Google действительно работает над тем, чтобы сделать Android операционной системой для компьютеров, конкурируя с Windows и Linux. Генеральный директор Qualcomm Кристиано Амон сообщил, что уже видел версию нового программного обеспечения, и отметил, что «не может дождаться, чтобы получить его».

Амон выступал на сцене вместе с руководителем подразделения платформ и устройств Google Риком Остерлохом во время вступительного доклада на саммите Qualcomm Snapdragon, где позже в тот же день компания представит свой новый чипсет Snapdragon 8 Elite Gen 5. до этого два руководителя поделились планами сотрудничества Google и Qualcomm, которые охватывают как автомобильную сферу, так и сегмент потребительских ПК.

«В прошлом мы всегда имели очень разные системы между тем, что создавали для ПК, и тем, что разрабатывали для смартфонов, и мы начали проект, чтобы совместить это», – пояснил Остерлох. — «Мы совместно создаем единую техническую основу для наших продуктов в области персональных компьютеров и настольных вычислительных систем».

Он также подтвердил, что планы Google предусматривают интеграцию Gemini и полного AI-стека Android, а также «всех наших приложений и сообщества разработчиков» в ПК-экосистему. «Я считаю, что это еще один способ, которым Android сможет обслуживать всех в каждой категории вычислительных систем».

«Я видел это, и это невероятно», – с энтузиазмом отреагировал Амон. — «Он реализует видение конвергенции мобильных устройств и ПК. Не могу дождаться, чтобы получить его».

Последние новости о планах Google сделать Android операционной системой для ПК появились в июле, когда руководитель направления Android Самир Самат подтвердил, что компания «объединяет ChromeOS и Android в единую платформу» после прошлогодних шагов по созданию ChromeOS на основе части Android-стека.

Несмотря на то, что на Android хорошо поддерживаются сторонние магазины приложений и APK-файлы, Google Play остается основным способом получения приложений для большинства пользователей. Компания постоянно совершенствует этот сервис и теперь объявила о крупном обновлении, ориентированном на персонализацию.

Прежде всего, Google Play Games объединяет игровой опыт, централизуя все достижения, статистику и сгенерированный ИИ аватар. Платформа также будет служить местом для связи пользователей с такими событиями, как San Diego Comic-Con, а для тех, кто любит соревноваться, будет доступна игровая Лига. Эта лига стартует 10 октября, и первой игрой станет Subway Surfers, в которую можно будет играть до 23 октября.

Кроме того, Google интегрирует Play Games Sidekick — оверлей, работающий на основе Gemini Live и предлагающий подсказки в режиме реального времени во время игровых сессий. Обновленные страницы с описанием игр теперь содержат больше информации о тайтлах, в частности акции от разработчиков, актуальные события и тому подобное. В некоторых странах игроки вскоре смогут задавать и отвечать на вопросы об играх прямо на этих страницах.

Единая игровая платформа

Игровой опыт часто делится между различными платформами, устройствами, играми, программами вознаграждений и сообществами. Новые обновления Google Play Games объединяют эти разрозненные элементы в единое пространство, делая игры более удобными и интересными, устраняя барьеры на пути к игре.

Интегрированные статистика и достижения

Новый геймерский профиль на уровне платформы позволяет легко отслеживать статистику и достижения в разных играх и на разных устройствах. Он позволяет вам видеть общий прогресс, а не только в конкретной игре. Кроме того, профиль можно персонализировать с помощью сгенерированного ИИ аватара, чтобы выразить свою уникальную игровую идентичность.

Интегрированные награды

Google Play Games объединяет все возможности приложения Google Play Points, открывая новые способы игры и заработка как на мобильных устройствах, так и на ПК. Признание фанатов игр выходит за рамки игрового процесса, поэтому пользователей связывают с мерчем и VIP-опытом на мероприятиях, включая Comic Con San Diego.

Заработок вознаграждений на Play теперь станет еще интереснее в различных играх. Для тех, кто хочет больше соревнований, запускаются Play Games Leagues. Они предоставляют возможность соревноваться за Play Points, взаимодействовать с сообществом Play и получать право на признание. Первая Play Games League начнется 10 октября с популярной игры Subway Surfers и продлится до 23 октября.

Интегрированные платформы без выхода из игры

Запускается Play Games Sidekick-удобный внутриигровой оверлей для игр, загруженных из Play. Sidekick собирает и структурирует релевантную информацию, а также предоставляет прямой доступ к Gemini Live для подсказок в режиме реального времени. Это позволяет оставаться в игре без необходимости переключаться на внешние ресурсы.

В декабре прошлого года Google DeepMind продемонстрировала, как компания разрабатывает ИИ-агентов для различных сфер, в том числе и для игр. С тех пор Google DeepMind и Google Play продолжили сотрудничество, что сделало Sidekick еще более полезным для игроков.

Благодаря Sidekick можно будет получать советы в формате живого разговора с Gemini, не оставляя игру для поиска гайдов или прохождений. Sidekick использует функцию совместного использования экрана Gemini Live, чтобы понимать контекст игры и предлагать голосовые советы, трюки и поддержку во время прохождения. Тестирование этой функции продолжается, и в ближайшие месяцы она станет доступна в некоторых играх.

Еще одно важное обновление — Google Play Games на ПК официально выходит из бета-статуса и становится общедоступным. Платформа предлагает более 200 000 тайтлов для мобильных устройств и ПК. В конце месяца к каталогу Play Pass присоединится игра DREDGE.

Новый раздел”вы»

Все эти обновления собраны в новой вкладке «Вы», которая также будет охватывать персонализированные рекомендации приложений и контента, в частности аудиокниг. Этот раздел позволит легко вернуться к уже начатым материалам — аудиокнигам, романам или подкастам. Интегрированный опыт в YouTube начнет развертываться на этой неделе в некоторых странах с поддержкой Play Points, а после 1 октября охватит больше рынков.

Интегрированная игровая информация и сообщество

Чтобы узнать, стоит ли скачивать игру, теперь не придется искать отзывы на различных форумах. Обновленные страницы игры предоставляют исчерпывающую информацию о каждом тайтле, включая актуальные события, новости от разработчиков и специальные предложения.

Если игра уже загружена, эти страницы будут показывать прогресс, достижения и актуальные обновления от разработчиков. Начиная со следующего месяца в выбранных странах пользователи смогут задавать вопросы и отвечать на них непосредственно на страницах игры, получая советы от других игроков.

Обновление вкладки”приложения»

Вкладка «приложения» также получает изменения. В ней появятся тематические секции с сезонными и развлекательными материалами. Пользователи в Южной Корее и США получат доступ к фильмам, сериалам и вебкомиксам. Кроме того, Guided Search позволит использовать запросы на естественном языке вроде «игры с построением колод», чтобы находить релевантный контент благодаря ИИ.

Интегрированный игровой процесс на разных устройствах

Google Play Games на ПК теперь официально переходит в статус общедоступного сервиса, подтверждая приверженность компании к мультиплатформенному геймингу и обеспечивая большую непрерывность между мобильными устройствами и ПК.

Каталог включает более 200 000 тайтлов для мобильных устройств и ПК, поэтому каждый найдет игру по душе. Недавно были добавлены эксклюзивные для ПК Mecha Break и мобильные хиты, такие как Subnautica, Monster Train и Enter the Gungeon. Вскоре на Google Play появится Deep Rock Galactic Survivor, регистрация на который доступна уже сегодня. Кроме того, в конце месяца к каталогу Play Pass присоединится высоко оцененная инди-игра DREDGE.

Чтобы начать использование, вам нужно посетить play.google.com/googleplaygames. а для разработчиков открывается больше возможностей для развития бизнеса благодаря программе Google Play Games Level Up.

На шаге, который может изменить внешний вид интернета в будущем, исследователи продемонстрировали, что можно заставить ChatGPT в режиме Agent решать головоломки CAPTCHA.

CAPTCHA расшифровывается как » Completely Automated Public Turing Test to tell Computers and Humans Apart » и является одним из способов контролировать активность ботов в сети, предотвращая их сообщения на веб-сайтах, которыми пользуются ежедневно.

Большинство людей, работающих в сети, хорошо знакомы с Captcha-задачами и имеют к ним одновременно и симпатию, и сразу. КАПТЧА обычно включает в себя ввод последовательности букв или цифр, которые едва ли можно разобрать на изображении (самая неприятная разновидность), составление фрагментов в сетке изображения для восстановления целого, или идентификацию объектов. С одной стороны, веб-сайты применяют их, чтобы убедиться, что все пользователи являются людьми, и это останавливает спам-сообщения от ботов. С другой стороны, они могут быть чрезвычайно утомительными, потому что очень скучны в исполнении.

Переформулировка проблемы

CAPTCHA никогда не были полностью надежными, но до сих пор довольно эффективно удерживали ботов от доступа к форумам и разделам комментариев. Однако теперь ситуация изменилась. Исследователи из SPLX сумели обмануть ChatGPT, заставив его пройти CAPTCHA-проверку с помощью техники, получившей название «prompt injection» .

Речь идет не о том, что ChatGPT просто смотрит на картинку с CAPTCHA и выдает правильный ответ (с этим проблем нет), а о том, что ChatGPT в режиме Agent фактически использует вебсайт, проходит CAPTCHA-тест и взаимодействует с ним так, как это сделал бы реальный пользователь, что по определению не должно быть возможным.

Режим Agent отличается от обычного ChatGPT. Он предоставляет задачу, которую ChatGPT выполняет в фоновом режиме, оставляя место для других действий. В этом режиме ChatGPT может пользоваться сайтами подобно человеку, но все равно не должно быть способным пройти CAPTCHA-проверку, ведь такие тесты специально созданы для выявления ботов и блокировки их доступа, что напрямую связано с условиями использования сайтов. Теперь же выяснилось, что если убедить ChatGPT, будто речь идет о «фейковом» тесте, он все равно проходит его.

Серьезные последствия

Исследователи достигли этого, переформулировав CAPTCHA как «поддельный» тест для ChatGPT и создав беседу, в которой ChatGPT заранее согласился пройти проверку. ChatGPT Agent унаследовал контекст из предыдущей части диалога и не распознал привычных сигналов опасности.

Этот многошаговый процесс Prompt injection хорошо известен хакерам и демонстрирует уязвимость больших языковых моделей. Хотя исследователи обнаружили, что визуальные задачи CAPTCHA были более сложными для ChatGPT, он тоже смог их пройти.

Последствия этого довольно серьезные, ведь ChatGPT является широко доступным инструментом, и в случае использования в злонамеренных целях спамеры и другие недобросовестные пользователи смогут массово наполнять разделы комментариев фейковыми сообщениями, а также получать доступ к веб-сайтам, предназначенным исключительно для людей.