Энцефалограмма или что видит мозг

Исследователи Лаборатории нейроробототехники МФТИ теперь могут определить по электрической активности мозга, что человек видит в данный момент. Создается новый тип устройств для постинсультной реабилитации, управляемых сигналами мозга.

Главная задача для развития методов лечения когнитивных нарушений, постинсультной реабилитации и создания устройств понять, как мозг кодирует информацию.

Задача для понимания принципов его работы — исследование активности, возникающей при визуальном восприятии. Все существующие решения в области распознавания изображений по сигналам мозга используют функциональную магнитно-резонансную томографию (фМРТ) или анализ сигнала, получаемого непосредственно с нейронов. Особенности этих методов ограничивают их применение в клинической практике и повседневной жизни. Интерфейс «мозг — компьютер», созданный командой учёных из МФТИ и «Нейроботикс», напротив, использует электроэнцефалограмму (далее ЭЭГ), снимаемую с поверхности головы, и нейросети. Эта разработка с помощью ЭЭГ в режиме реального времени реконструирует кадры из видео, которое смотрит человек.

«Работа ведётся в рамках проекта „Ассистивные технологии“ НейроНет НТИ, в котором ключевую роль играет интерфейс „мозг — компьютер“, используемый для управления экзоскелетом руки при реабилитации после инсультов, а также для управления электроколяской парализованными людьми. Конечная цель работы — увеличить точность нейроуправления при его использовании не только пациентами, но и здоровыми людьми».

Эксперимент состоял из 2 частей. Сначала исследователи произвольно выбрали пять разных категорий роликов с YouTube: «абстракции», «водопады», «лица людей», «скорость» — видеосъёмку от первого лица гонок на снегоходах, водных мотоциклах, ралли — и «движущиеся механизмы», которые показывали испытуемым, записывая при этом ЭЭГ. Ролики длились по 10 секунд, в сумме вся сессия записей у каждого испытуемого составляла 20 минут.

Здесь учёным удалось доказать, что частотные характеристики волновой активности (спектры) ЭЭГ для разных категорий видеороликов достоверно различаются. Это позволило анализировать реакцию мозга на видеоролики в режиме реального времени.

Далее - были произвольно выбраны три категории из вышеперечисленных видео. Специалисты разработали две нейросети, одна из которых генерировала произвольные изображения этих же категорий из «шума», а вторая — создавала похожий «шум» из ЭЭГ. Затем авторы работы обучили эти нейросети работать совместно так, чтобы по записанному сигналу ЭЭГ создавались кадры, похожие на те, которые видели люди в момент записи.

Для проверки испытуемым показали совершенно новые видео тех же категорий, снимая при этом ЭЭГ и в реальном времени отправляя её на нейросети. Нейросети хорошо справились и с этой задачей: создавали реалистичные кадры, по которым в 90% случаев можно было определить категорию видео.

"Энцефалограмма — это следовой сигнал от работы нервных клеток, снимаемый с поверхности головы. Раньше считалось, что исследовать процессы в мозге по ЭЭГ — это все равно, что пытаться узнать устройство двигателя паровоза по его дыму. В ней содержится достаточно информации, чтобы хотя бы частично реконструировать изображение, которое видит человек. Однако оказалось, что такая реконструкция возможна и демонстрирует хорошие результаты. Более того, на её основе даже можно создать работающий в реальном времени интерфейс „мозг — компьютер“. Это очень обнадёживает."

Илон Маск недавно говорил, что сейчас создание инвазивных нейроинтерфейсов упирается в сложность хирургической операции и то, что через несколько месяцев из-за окисления и естественных процессов они выходят из строя. А уже есть надежда, что в будущем можно сделать более доступные нейроинтерфейсы, не требующие имплантации.

https://www.biorxiv.org/content/10.1101/787101v2.full