Разработчики из Университета Пердью создали нейронную сеть, которая умеет анализировать фМРТ-снимки мозга, сделанные во время просмотра видео, а затем в режиме реального времени определять, что именно человек смотрел.
В эксперименте участвовало трое испытуемых, которым показали около тысячи небольших видеороликов. За время показа учёные смогли получить огромное количество данных фМРТ, которые затем начали демонстрировать свёрточной нейронной сети, обученной сопоставлять активность мозга с сюжетами видеороликов. По снимку фМРТ сеть научилась очень быстро и правильно определять, что именно смотрел доброволец в то время, когда был сделан снимок.
Кроме того, нейросеть научилась расшифровывать данные других людей, основываясь на полученной с фМРТ других добровольцев информации, при этом результат был одинаково высок как при данных фМРТ здоровых испытуемых, так и тех, что имели дефекты зрения.
Благодаря этому исследованию учёные смогли расшифровать мысли, а заодно и выяснили, какие участки мозга отвечают за распознавание изображений и видеороликов. Дело в том, что мозг разделяет видеоролик на отдельные составляющие. Например, если человек видит движущуюся на фоне стены машину, то одна зона мозга распознаёт стену, а другая автомобиль — таким образом у учёных получилось проследить работу мозга при сопоставлении отдельных блоков информации и сведении её в единую картину.
