Когда вы представляете какое-либо изображение, некоторые участки вашего мозга активируются соответствующим образом. Ученые создали искусственный интеллект, декодирующий такую ??активность в изображении.
Исследователи обнаружили, что они могут реконструировать высокоточные изображения с высоким разрешением на основе активности мозга с помощью популярной модели генерации изображений Stable Diffusion. Авторы пишут, что в отличие от предыдущих исследований, им не требовалось тренировать или настраивать модели искусственного интеллекта для создания этих изображений.
Исследователи из Высшей школы передовых биологических наук Университета Осаки заявили, что впервые на основе сигналов fMRI предусмотрели латентное представление, которое является моделью данных изображения. Затем модель была обработана и к ней добавлен шум посредством процесса диффузии. Наконец, исследователи декодировали текстовые представления сигналов fMRI в высшей зрительной коре и использовали их в качестве входных данных для создания окончательного сконструированного изображения.
Исследователи пишут, что в нескольких эпизодах были созданы реконструкции изображений с высоким разрешением, но это было только после обучения и точной настройки генеративных моделей. Это привело к ограничениям, поскольку обучение сложных моделей является сложной задачей, а в нейронауке не так много образцов для работы.
Исследователи пришли к выводу, что это исследование позволило заглянуть во внутренние процессы диффузионных моделей, и оно было первым, давшим количественную интерпретацию модели с биологической точки зрения.Например, существует корреляция между раздражителями и уровнями шума в мозге. Чем выше уровень раздражителей, тем выше будет уровень шума, и тем выше будет разрешение изображения.
В прошлом мы видели примеры того, как мозговые волны и функции мозга могут создавать изображения. В 2014 году художник из Шанхая Джоди Сюн с помощью биосенсоров ЭЭГ подключил шестнадцать человек с ограниченными возможностями к воздушным шарам с краской. Затем люди использовали свои мысли, чтобы лопнуть конкретные шары и создавать собственные картины.
В другом примере художница Лия Чавес создала установку, позволяющую электрическим импульсам в мозге создавать звуки и свет. Аудитория носила ЭЭГ гарнитуры, которые передавали сигналы на аудио/видеосистему, где волны мозга отображались через цвет и звук.
По мере развития генеративного искусственного интеллекта все больше исследователей проверяют, как модели искусственного интеллекта могут работать с человеческим мозгом. В исследовании, проведенном в январе 2022 года, исследователи из Университета Радбуда в Нидерландах научили предшественницу Stable Diffusion, на данных фМРТ 1050 уникальных лиц и превратили результаты визуализации мозга в реальные изображения. Исследование показало, что искусственный интеллект смог выполнять беспрецедентную реконструкцию.
