Коли ви уявляєте якесь зображення, певні ділянки вашого мозку активуються відповідним чином. Науковці створили штучний інтелект, який декодує таку активність у зображення.
Дослідники виявили, що вони можуть реконструювати високоточні зображення з високою роздільною здатністю на основі активності мозку за допомогою популярної моделі генерації зображень Stable Diffusion. Автори пишуть, що на відміну від попередніх досліджень, їм не потрібно було тренувати або налаштовувати моделі штучного інтелекту для створення цих зображень.
Дослідники з Вищої школи передових біологічних наук Університету Осаки заявили, що вони вперше на основі сигналів fMRI передбачили латентне представлення, яке є моделлю даних зображення. Потім модель була оброблена і до неї додано шум за допомогою процесу дифузії. Нарешті, дослідники декодували текстові представлення з сигналів fMRI у вищій зоровій корі та використовували їх як вхідні дані для створення остаточного сконструйованого зображення.
Дослідники пишуть, що в кількох епізодах були створені реконструкції зображень із високою роздільною здатністю, але це було лише після навчання та точного налаштування генеративних моделей. Це призвело до обмежень, оскільки навчання складних моделей є важким завданням, а в нейронауці не так багато зразків для роботи.
Дослідники прийшли до висновку, що це дослідження дозволило зазирнути у внутрішні процеси дифузійних моделей, і воно було першим, яке дало кількісну інтерпретацію моделі з біологічної точки зору. Наприклад, є кореляція між подразниками та рівнями шуму в мозку. Чим вищий рівень подразників, тим вищим буде рівень шуму, і тим вищою буде роздільна здатність зображення.
У минулому ми бачили приклади того, як мозкові хвилі та функції мозку можуть створювати зображення. У 2014 році художник із Шанхаю Джоді Сюн за допомогою біосенсорів ЕЕГ підключив шістнадцять людей з обмеженими можливостями до повітряних кульок із фарбою. Потім люди використовували свої думки, щоб лопнути конкретні повітряні кулі та створювати власні картини.
В іншому прикладі художниця Лія Чавес створила установку, яка дозволяла електричним імпульсам у мозку створювати звуки та світло. Аудиторія носила ЕЕГ-гарнітури, які передавали сигнали на аудіо/відеосистему, де хвилі мозку відображалися через колір і звук.
З розвитком генеративного штучного інтелекту все більше дослідників перевіряють, як моделі штучного інтелекту можуть працювати з людським мозком. У дослідженні, проведеному в січні 2022 року, дослідники з Університету Радбуда в Нідерландах навчили попередницю Stable Diffusion, на даних фМРТ 1050 унікальних облич і перетворили результати візуалізації мозку в реальні зображення. Дослідження показало, що штучний інтелект зміг виконувати безпрецедентну реконструкцію.
