Дослідники Інституту Вейцмана представили програмне забезпечення Brain-IT, яке відтворює візуальні образи на основі аналізу нейронної активності головного мозку. Система конвертує дані функціональної магнітно-резонансної томографії у графічні зображення, що відповідають об’єктам, на які дивиться людина. У ході експериментів вісім добровольців переглядали фотографії спортивних подій, тварин та краєвидів, тоді як алгоритм фіксував відповідні патерни активності нейронів для побудови візуальної репрезентації побаченого об’єкта із високим рівнем деталізації та збереженням смислових характеристик.
Технологічна архітектура моделі базується на попередньому навчанні на тисячах результатів сканування, під час якого нейронна мережа ідентифікувала 128 функціональних областей мозку, відповідальних за обробку зорової інформації. Дослідники виявили спеціалізовані зони, що реагують на специфічні категорії об’єктів, як-от продукти харчування або спортивні змагання. Вивчення цих патернів дозволило системі виокремити окремі підрозділи в парагіпокампальній ділянці, які диференціюють інтер’єрні сцени від зовнішніх ландшафтів, що критично впливає на точність відтворення кольорів та композиції вихідного зображення.
Важливою особливістю Brain-IT є низький поріг вхідних даних, необхідних для налаштування системи під конкретного користувача. Попередні аналоги потребували близько 40 годин записів активності мозку для коректної інтерпретації зорових стимулів. Нова розробка здатна досягати ідентичних показників точності після 60 хвилин навчання на основі індивідуальних МРТ-сканів. Порівняльний аналіз показав, що реконструкції, виконані за допомогою часового ресурсу в 1 годину, майже не відрізняються за якістю від результатів, отриманих після 40 годин інтенсивного тренування нейронної мережі.
Науковці розглядають можливість розширення функціоналу системи для декодування аудіоінформації, а також потокового відео, що є складнішим завданням через часові обмеження апаратури МРТ. Оскільки один знімок сканера триває близько 2 секунд, відстеження швидких змін кадрів під час сновидінь залишається технічним викликом. Паралельно команда працює над адаптацією алгоритму для роботи з даними електроенцефалографії, що дозволить отримувати сигнали через сенсори на поверхні голови замість громіздких стаціонарних МРТ-сканерів, що було представлено на конференції Cognitive Computational Neuroscience у Нью-Йорку.
