Исследователи Института Вейцмана представили программное обеспечение Brain-IT, которое воспроизводит визуальные образы на основе анализа нейронной активности головного мозга. Система конвертирует данные функциональной магнитно-резонансной томографии в графические изображения, соответствующие объектам, на которые смотрит человек. В ходе экспериментов восемь добровольцев просматривали фотографии спортивных событий, животных и пейзажей, в то время как алгоритм фиксировал соответствующие паттерны активности нейронов для построения визуальной репрезентации увиденного объекта с высоким уровнем детализации и сохранением смысловых характеристик.
Технологическая архитектура модели базируется на предварительном обучении на тысячах результатов сканирования, во время которого нейронная сеть идентифицировала 128 функциональных областей мозга, ответственных за обработку зрительной информации. Исследователи выявили специализированные зоны, реагирующие на специфические категории объектов, такие как продукты питания или спортивные соревнования. Изучение этих паттернов позволило системе выделить отдельные подразделы в парагиппокампальной области, которые дифференцируют интерьерные сцены от внешних ландшафтов, что критически влияет на точность воспроизведения цветов и композиции исходного изображения.
Важной особенностью Brain-IT является низкий порог входных данных, необходимых для настройки системы под конкретного пользователя. Предыдущие аналоги требовали около 40 часов записей активности мозга для корректной интерпретации зрительных стимулов. Новая разработка способна достигать идентичных показателей точности после 60 минут обучения на основе индивидуальных МРТ-сканов. Сравнительный анализ показал, что реконструкции, выполненные с помощью временного ресурса в 1 час, почти не отличаются по качеству от результатов, полученных после 40 часов интенсивной тренировки нейронной сети.
Ученые рассматривают возможность расширения функционала системы для декодирования аудиоинформации, а также потокового видео, что является более сложной задачей из-за временных ограничений аппаратуры МРТ. Поскольку один снимок сканера длится около 2 секунд, отслеживание быстрых изменений кадров во время сновидений остается техническим вызовом. Параллельно команда работает над адаптацией алгоритма для работы с данными электроэнцефалографии, что позволит получать сигналы через сенсоры на поверхности головы вместо громоздких стационарных МРТ-сканеров, что было представлено на конференции Cognitive Computational Neuroscience в Нью-Йорке.
