авторефераты диссертаций БЕСПЛАТНАЯ  БИБЛИОТЕКА

АВТОРЕФЕРАТЫ КАНДИДАТСКИХ, ДОКТОРСКИХ ДИССЕРТАЦИЙ

<< ГЛАВНАЯ
АГРОИНЖЕНЕРИЯ
АСТРОНОМИЯ
БЕЗОПАСНОСТЬ
БИОЛОГИЯ
ЗЕМЛЯ
ИНФОРМАТИКА
ИСКУССТВОВЕДЕНИЕ
ИСТОРИЯ
КУЛЬТУРОЛОГИЯ
МАШИНОСТРОЕНИЕ
МЕДИЦИНА
МЕТАЛЛУРГИЯ
МЕХАНИКА
ПЕДАГОГИКА
ПОЛИТИКА
ПРИБОРОСТРОЕНИЕ
ПРОДОВОЛЬСТВИЕ
ПСИХОЛОГИЯ
РАДИОТЕХНИКА
СЕЛЬСКОЕ ХОЗЯЙСТВО
СОЦИОЛОГИЯ
СТРОИТЕЛЬСТВО
ТЕХНИЧЕСКИЕ НАУКИ
ТРАНСПОРТ
ФАРМАЦЕВТИКА
ФИЗИКА
ФИЗИОЛОГИЯ
ФИЛОЛОГИЯ
ФИЛОСОФИЯ
ХИМИЯ
ЭКОНОМИКА
ЭЛЕКТРОТЕХНИКА
ЭНЕРГЕТИКА
ЮРИСПРУДЕНЦИЯ
ЯЗЫКОЗНАНИЕ
РАЗНОЕ
КОНТАКТЫ

Интерфейс мозг-компьютер на волне p300: исследование эффектов повторения и движения стимулов

На правах рукописи

ГАНИН Илья Петрович

ИНТЕРФЕЙС МОЗГ-КОМПЬЮТЕР НА ВОЛНЕ P300:

ИССЛЕДОВАНИЕ ЭФФЕКТОВ ПОВТОРЕНИЯ И ДВИЖЕНИЯ

СТИМУЛОВ

03.03.01 – физиология

03.03.06 – нейробиология

АВТОРЕФЕРАТ

диссертации на соискание ученой степени

кандидата биологических наук

Москва – 2013

Работа выполнена на кафедре физиологии человека и животных биологического факультета Московского государственного университета имени М.В.Ломоносова (заведующий кафедрой – доктор биологических наук, профессор А.А. Каменский) доктор биологических наук, заведующий

Научный руководитель лабораторией Нейрофизиологии и нейрокомпьютерных интерфейсов кафедры физиологии человека и животных биологического факультета МГУ имени М.В.Ломоносова, профессор Каплан Александр Яковлевич доктор биологических наук, ведущий научный

Официальные оппоненты сотрудник лаборатории высшей нервной деятельности человека ФГБУН Института Высшей Нервной Деятельности и Нейрофизиологии РАН Иваницкий Георгий Алексеевич кандидат биологических наук, доцент кафедры высшей нервной деятельности МГУ имени М.В.Ломоносова Напалков Дмитрий Анатольевич НБИКС-Центр НИЦ «Курчатовский институт»

Ведущая организация

Защита состоится 30 сентября 2013 года в 15 часов 30 минут на заседании диссертационного совета Д501.001.93 при Московском государственном университете имени М.В.Ломоносова по адресу: 119234, Москва, Ленинские горы, д.1, корп. 12, МГУ, Биологический факультет, ауд. М-1.

С диссертацией можно ознакомиться в Фундаментальной библиотеке МГУ имени М.В.Ломоносова.

Автореферат разослан 29 августа 2013 г.

Ученый секретарь диссертационного совета, Б.А. Умарова доктор биологических наук

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность проблемы. Интерфейс мозг-компьютер (ИМК) – это новая нейрокомпьютерная технология, позволяющая на основе регистрации и расшифровки электроэнцефалограммы (ЭЭГ) человека дать ему возможность управлять внешними исполнительными устройствами или осуществлять коммуникацию с внешними объектами без посредства нервов и мышц, напрямую от мозга (Wolpaw et al., 2002).

Трудно сейчас переоценить теоретическую и практическую значимость технологии ИМК, которая, с одной стороны, становится совершенно новой экспериментальной парадигмой в психофизиологии, а, с другой стороны, все более ориентируется на применение в медицине для целей реабилитации пациентов с тяжелыми нарушениями двигательной сферы, например, путем создания нейропультов для информационного контакта со средой (набор текстов, командных символов и др.) или нейроманипуляторов для реальных физических манипуляций (протезы, экзопротезы, тренажеры и др.).

На сегодняшний день достигнутые значительные успехи в области теоретических, экспериментальных и практических разработок технологии ИМК касаются преимущественно инвазивных подходов (Collinger et al., 2012;

Hochberg et al., 2012), т.е. связанных с вживлением электродных систем непосредственно в мозг пациентов. В неинвазивных ИМК каждый электрод регистрирует активность не отдельных нервных клеток, и даже не отдельных их функциональных кластеров, а суммарную активность сотен тысяч функционально различных нервных клеток.

Произвольно вызвать специфические изменения в такой суммарной активности ЭЭГ становится для пациента или здорового пользователя не такой простой задачей.

Однако при успешном решении этих проблем пользователи смогут работать с технологиями ИМК без необходимости обращаться к медперсоналу, непосредственно в домашних условиях, а сами технологии смогут найти более широкое применение в повседневной жизни, как пациентов, так и здоровых пользователей. Таким образом, именно неинвазивные подходы к построению эффективных ИМК могут быть востребованы в гораздо больших масштабах, чем инвазивные, и потому в настоящее время их разработка особенно актуальна. Настоящая работа посвящена теоретической и экспериментальной разработке именно неинвазивных ИМК.

Принципиальным в технологии ИМК является привязка того или иного паттерна ЭЭГ к определенной функции, например, функции включения/выключения внешнего электронного устройства. В этом заключается одна из главных трудностей технологии ИМК, поскольку исходно электроэнцефалограмма не имеет функции для организма и является всего лишь внешним отражением естественной работы мозговых механизмов. Поэтому использование показателей естественных физиологических процессов организма, в данном случае ЭЭГ, в эволюционно неестественную функциональную систему управления в контуре ИМК оказывается затруднительным при разработке этой технологии. В связи с этим в нейрофизиологии и психофизиологии становится все более актуальной разработка новых экспериментальных парадигм и теоретических подходов для изучения механизмов приобретения новых навыков и возможности произвольных сдвигов в ЭЭГ при работе человека в контуре ИМК.

Одним из направлений в разработке неинвазивных ИМК является их построение на волне P300 – кратковременной реакции ЭЭГ на ожидаемый стимул, но более редкий, чем другие стимулы, появляющийся в поле внимания человека (Sutton et al., 1965). Реакцию ЭЭГ на конкретный ожидаемый стимул, распознаваемую специальными алгоритмами, можно использовать в качестве сигнала для исполнения во внешней среде заранее ассоциированной именно с этим стимулом конкретной команды. Если иметь целый набор стимулов-команд, каждый из которых последовательно предъявляется пользователю, то назначая для себя тот или иной стимул «ожидаемым» пользователь может с помощью ИМК-Р300 подавать в среду те или иные командные сигналы (Farwell et al., 1988;

Wolpaw et al., 2002;

Mak et al., 2011). В частности, пользователь сможет набирать буквы из кратковременно подсвечиваемой по отдельным символам виртуальной клавиатуры, или выбирать символы-команды из точно так же подсвечиваемого пульта управления. Таким образом, выбор команды происходит за счет детекции фокусирования внимания оператора на одном из стимулов, которыми служат кратковременные подсветки символов.

Алгоритмическое распознавание сделанного человеком выбора в ИМК Р основывается на сравнении реакций мозга на разные стимулы из имеющегося набора:

более высокая амплитуда волны P300 на определенный стимул указывает на то, что именно он выбран пользователем в качестве командного на данный момент (Farwell et al., 1988, Shishkin et al., 2009, Mak et al., 2011,Wolpaw et al., 2002). В последние годы, в том числе и в нашей лаборатории, показано, что значительный вклад в детектирование фокуса внимания человека на основе анализа реакций ЭЭГ могут вносить и другие компоненты потенциалов, связанных с событиямии (ПСС), например, компонент N1 (Krusienski et al., 2008;

Shishkin et al., 2009;

Bianchi et al., 2010;

Kaufmann et al., 2011;

Kaplan et al., 2013) учет которых еще более повышает эффективность ИМК P300.

Однако эти и многие другие достижения в разработках ИМК любых типов не привели еще к созданию нейроинтерфейсов, органично реализующих способность мозга к выработке нового навыка, если этот навык реализуется не на привычных сенсомоторных путях, а в контуре управления реакциями ЭЭГ. Несмотря на имеющиеся в этом направлении отдельные результаты, свидетельствующие, в частности, о возможности неосознаваемого управления внешними объектами в контуре ИМК (Kaplan et al., 2005), до настоящего времени все существующие регламенты ИМК требуют от пользователя значительных ресурсов внимания для надежной работы. Это означает, что известные прототипы ИМК еще не достигли того уровня взаимодействия с мозгом, чтобы их можно было уверенно использовать в практической деятельности человека и в медицине.

Вот почему особенно актуальными в настоящее время становятся исследования возможности создания практичных технологий ИМК, во-первых, защищенных от отвлекающих стимулов среды, во-вторых, требующих минимального времени для получения обратной связи по результатам управления в ИМК, т.е. наименьшего числа повторений стимулов, в третьих, способных работать в более естественных условиях, когда стимулы и сами пульты их расположения могут перемещаться в пространстве и, наконец, в целом, не требующих значительных ресурсов внимания человека и, по возможности, обладающих привлекательными свойствами для пользователя.

Цель исследования. Целью настоящего исследования было создание эффективных регламентов предъявления стимулов в контуре ИМК-Р300 для оптимизации работы пользователя.

Задачи исследования. В работе поставлены следующие конкретные задачи:

1. Выяснить возможность создания принципиально новых интерфейсов на волне Р300 с использованием подвижных стимулов и оценить их эффективность.

2. Изучить возможности регламентов ИМК с минимальным числом повторений подсветок одного и того же символа, чтобы обеспечить испытуемому наиболее быструю обратную связь как результат его мыслительных действий. Тем самым может возникнуть основа для автоматизации навыка работы в ИМК.

3. Изучить динамику поведенческих и электрофизиологических (амплитуды компонентов P300 и N1) показателей работы испытуемых в ИМК-Р300 при многократной тренировке и разной скорости обратной связи, чтобы выявить возможные эффекты обучения испытуемых навыку работы в контуре ИМК.

4. Изучить возможность создания гибридных интерфейсов на волне Р300 на основе совмещения подсветки и движения командных символов, а также оценить устойчивость таких интерфейсов к значительным вариациям пространственного расположения командных символов.

Научная новизна работы. В ходе данного исследования была разработана принципиально новая модификация ИМК-P300 с подвижными позициями стимулов.

Несмотря на большое число работ, посвященных оптимизации этого ИМК, во всех из них, даже наиболее радикальных решениях, стимулы располагались в фиксированных позициях в пространстве. Напротив, в нашем ИМК-P300 позиции, где предъявлялись стимулы (подсветки объекта), были динамичными, т.е. находились в постоянном движении относительно друг друга. Результаты исследования имеют глубокий фундаментальный характер: известные до этого из литературы данные по исследованию процессов внимания и зрительного восприятия не давали возможности однозначно предсказать эффективность использования фактора движения в ИМК P300. В ходе работы экспериментально была доказана эффективность такого нейроинтерфейса.

Кроме того, в первой части работы мы использовали минимальное число повторений стимулов (однократное и трехкратное) для выделения реакций внимания пользователя к целевой команде. Между тем, как правило, в ИМК-P300 для надежного выделения реакций ЭЭГ применяется большое число предъявлений стимулов, что негативным образом может сказываться на внимании пользователя и, как следствие, результативности управления в ИМК. Помимо этого, минимальное число предъявлений стимулов обеспечивает наиболее быструю обратную связь для пользователя в виде выбранной команды, что может положительно влиять на процесс обучения навыку управления за счет более точной оценки пользователем своих действий. В исследовании показано, что применение в нашем ИМК минимального числа предъявлений целевого стимула обеспечило стабильный уровень управления в продолжение четырех сессий работы.

Научно-теоретическое и практическое значение работы.

Классический дизайн ИМК-P300 со статичными стимулами не является оптимальным, поскольку не обеспечивает достаточной свободы для размещения в пространстве команд управления. Использование стимулов, предъявляемых на движущихся объектах, может значительно расширить внедрение ИМК-P300, например, для управления подвижными роботами, являющимися вспомогательными устройствами для парализованного человека, или для создания и совершенствования видео игр на основе ИМК. Такие игры могут использоваться в том числе для тренировки внимания. Статичный интерфейс менее пригоден для игр, а внедрение движущихся управляющих команд позволяет поддерживать более высокий уровень интереса и внимания, что чрезвычайно важно при дальнейшей разработке и повышении эффективности ИМК.

Наше исследование также вносит весомый вклад в разработку «гибридных»

ИМК, где сам момент начала движения символьной команды, наряду с подсветкой, используется в качестве управляющего стимула. Показанная нами эффективность такого ИМК представляется особенно высокой в условиях, где требуется применение компактного пульта управления с относительно небольшим числом команд (например, для управления подвижными роботами-манипуляторами). В этих случаях применение комплексных стимулов может быть компенсирующим фактором в условиях негативных эффектов внешней среды, ослабляющих внимание и затрудняющих управление.

В ходе работы также были выявлены особенности позиции целевого стимула в последовательностях их повторных предъявлений, обсуждаются возможности учета этих особенностей для оптимизации работы нейроинтерфейса.

Основные положения, выносимые на защиту:

1. Могут быть созданы интерфейсы мозг-компьютер на волне P300 (ИМК-P300), в которых командные стимулы располагаются на движущихся объектах, что существенно расширяет варианты различных приложений технологии.

2. Многократное применение здоровыми испытуемыми интерфейса с движущимися позициями стимулов не ухудшает со временем точности работы и не ведет к существенному снижению внимания при работе пользователей в нем.

3. Предложен новый «гибридный» ИМК-P300, где в качестве стимула кроме подсветки используется также начало движения объекта. Такие комплексные стимулы могут быть более перспективными для применения в ИМК.

4. Режимы с минимальным числом повторений стимула могут обеспечить высокую скорость отклика интерфейса на действия пользователя, а компактность расположения командных символов позволяет создавать на основе ИМК мобильные пульты управления различными устройствами.

5. В парадигме ИМК-P300 могут иметь место эффекты позиции целевых стимулов в последовательности их предъявления, проявляющиеся в более высокой амплитуде компонентов потенциалов мозга в ответ на первые стимулы. Учет этих эффектов может служить основой для разработки более совершенных алгоритмов распознавания в ИМК-P300.

Апробация работы. Материалы диссертационного исследования в виде научных докладов были представлены на XVI Международной конференции студентов, аспирантов и молодых учёных «Ломоносов» (Москва, 2009);

II International Symposium: Topical Problems of Biophotonics (Нижний Новгород, 2009);

Второй всероссийской научно-практической конференции «Количественная ЭЭГ и нейротерапия» (Санкт-Петербург, 2009);

XV Международной конференции по нейрокибернетике (Ростов-на-Дону, 2009);

XIII Научной конференции молодых ученых ИВНД и НФ РАН (Москва, 2009);

49th Annual Meeting of Society for Psychophysiological Research (Берлин, Германия, 2009);

III Научно-практической конференции "Перспективы развития инноваций в биологии" (У.М.Н.И.К.) (Москва, 2009);

XIV выставке-конференции «Телекоммуникации и новые информационные технологии в образовании» (Москва, 2010);

XVII Международной конференции студентов, аспирантов и молодых учёных «Ломоносов» (Москва, 2010);

XIV Научной конференции молодых ученых ИВНД и НФ РАН (Москва, 2010);

IV Научно практической конференции "Перспективы развития инноваций в биологии" (У.М.Н.И.К.) (Москва, 2010);

XIII Всероссийской научно-технической конференции «Нейроинформатика-2011» (Москва, 2011);

Первой конференции «Когнитивная наука в Москве: новые исследования» (Москва, 2011);

5th International BCI Conference (Грац, Автрия, 2011);

Международной научной конференции и молодежной школе «На пути к нейроморфному интеллекту: эксперименты, модели и технологии»

(Нижний Новгород, 2011);

XIV Международной телекоммуникационной конференции молодых ученых и студентов «Молодежь и наука» (Москва, 2011);

XVI Международной конференции по нейрокибернетике (Ростов-на-Дону, 2012);

Второй конференции «Когнитивная наука в Москве: новые исследования» (Москва, 2013).

Диссертация апробирована на заседании кафедры физиологии человека и животных Биологического факультета МГУ имени М.В.Ломоносова 27 мая 2013 года.

Публикации.

По теме диссертации опубликовано 24 печатные работы, среди которых 5 статей в журналах, рекомендованных ВАК РФ, и в приравниваемых к ним периодических изданиях, входящих хотя бы в одну из библиографических баз цитирования (PubMed, Scopus, Web of Knowellege и др.), в том числе с международным импакт-фактором (IF).

Структура и объем диссертации.

Текст диссертации изложен на 190 страницах и состоит из введения, обзора литературы, глав с описанием методики исследования и полученных результатов, обсуждения результатов, выводов, списка литературы. Диссертация содержит рисунков и 26 таблиц. Список литературы включает 147 источников, 7 из которых – на русском языке, 140 – на иностранных.

Список сокращений ИМК – интерфейс мозг-компьютер ИМК-P300 – ИМК на основе волны P300 потенциалов мозга ПСС – потенциалы, связанные с событиями ЭЭГ – электроэнцефалограмма МАТЕРИАЛЫ И МЕТОДЫ ИССЛЕДОВАНИЯ Участники исследований. В исследовании приняли участие здоровые испытуемые обоих полов, подписавшие информированное согласие, согласованное с этическим комитетом биологического факультета МГУ. Общий ход исследования выполнялся в соответствии с принципами Хельсинской декларации о правах человека. Всего было выполнено более 80 полномасштабных исследований, в которых приняли участие 45 человек в возрасте от 19 до 28 лет.

Во время исследования испытуемые сидели в удобном кресле внутри затемненной (общая освещенность – 4-6 люкс) и относительно звукоизолированной камеры для записи ЭЭГ. Помимо основной инструкции (в зависимости от задач исследования) испытуемых просили сидеть спокойно-расслаблено и в то же время постараться сконцентрироваться на предъявляемых стимулах. Испытуемых также просили по возможности воздерживаться от морганий и каких-либо движений во время циклов предъявления стимулов.

Регистрация ЭЭГ. ЭЭГ регистрировалась монополярно с помощью шести скальповых электродов (Cz, Pz, PO7, PO8, O1, O2). Частота дискретизации сигнала – 500 Гц. Встроенный частотный фильтр для ЭЭГ – 0,3-70 Гц. Для средней точки («земля») использовался электрод в позиции Fpz. В качестве референтного электрода использовался электрод, устанавливаемый на мочке правого уха. Для регистрации вертикальных движений глаз в качестве ЭОГ относительно референта также регистрировался сигнал от электрода, расположенного на 3 см выше наружного угла левой глазной щели.

Процесс записи ЭЭГ и управление ходом эксперимента (предъявление стимулов, настройка классификатора и пр.) осуществлялся на одном компьютере с использованием двух мониторов (один у экспериментатора, второй – для предъявления стимулов испытуемому) с помощью специально разработанного программного обеспечения (А.А. Преображенский), написанного на языке Python (www.python.org). Синхронизация записываемых вместе с ЭЭГ меток начала стимулов с моментом их реального начала обеспечивалась этим же программным обеспечением.

Часть 1. Многодневная работа испытуемых в ИМК-P300 со стимулами, предъявляемыми на движущихся объектах. 12 испытуемых (из них трое мужчин) участвовали каждый в 4 сессиях, проводимых в разные дни (минимальный интервал – 2 дня). Все испытуемые случайным образом были поделены на две группы: одни всегда работали в режиме с однократным предъявлением стимулов (группа «1»), другие – с трехкратным (группа «3»).

Использовалась разработанная нами игровая модификация ИМК-P300 (Ganin et al., 2011) В каждой сессии после настройки (обучения) классификатора на основе линейного дискриминанта Фишера (Krusienski et al., 2006) в режиме с предъявлением 8 стимульных последовательностей (общая длительность 3,5 минуты) начиналась основная часть, где испытуемым предлагалось собирать картинки из отдельных элементов. Каждая картинка состояла из 9 элементов, из которых вырезались круги диаметром 2,15. Эти круги («шары») двигались со скоростью 5,4/с внутри игрового поля размером 1414, изменяя направление движения при соударениях. Стимулом служила подсветка шара на 125 мс – увеличение яркости картинки. Одна стимульная последовательность состояла из подсветок одного целевого и восьми нецелевых шаров в случайном порядке без пауз между подсветками, причем один шар никогда не подсвечивался два раза подряд. Целевой шар указывался справа от основного поля.

Для удобства нахождения целевого шара и слежения за ним на каждом шаре была буква русского алфавита. Работа с одним целевым шаром составляла один блок, в котором была либо одна (группа «1»), либо три (группа «3») стимульных последовательности.

Как только испытуемый находил целевой шар внутри поля, он нажимал на кнопку мыши, и через 3 секунды начиналась стимуляция. Испытуемые должные были внимательно следить за целевым шаром и мысленно отметить единственную подсветку целевого шара (группа «1»), либо мысленно отсчитывать каждую из трех подсветок целевого шара (группа «3»). Если классификатор правильно определял целевой шар, общая картинка дополнялась соответствующим элементом (шар при этом оставался в поле) и происходил переход к следующей цели, в противном случае засчитывалась ошибка, и целью оставался этот же шар. Испытуемые всегда должны были собирать картинку, заполняя ее элементами слева направо и сверху вниз. Одна игра предполагала работу с одной картинкой, которая продолжалась до помещения в картинку последовательно всех девяти ее элементов, либо после набора 10 ошибок.

Каждый испытуемый в каждой сессии проходил 10 таких игр, причем картинки не повторялись для одного испытуемого в течение всех сессий.

Часть 2. Использование начала движения объекта в качестве стимула в ИМК-P300. В этой части работы приняли участие 21 испытуемый: 8 мужчин и женщин. Использовалась разработанная нами модификация ИМК-P300 с шестью объектами-кнопками, на которых были изображены условные команды управления некоторым устройством (стрелки и пр.). Объекты были помещены в светло-синем поле размером 7,47,4 угловых °, расположенном по центру на темно-сером фоне экрана компьютера размером 23,618,9°. Объекты имели форму равносторонних треугольников высотой 2,2° и располагались по кругу, так, что вершины треугольников сходились в условном центре. Стимулом могла служить подсветка объекта (увеличение его яркости), или кратковременное движение объекта в направлении от центра к периферии. Длительность подсветки составляла 100 мс, интервал между двумя соседними стимулами – 50 мс. Движение представляло собой быстрое смещение объекта на 9 мм (0,55°) от своего начального положения со скоростью 7,4°/сек и мгновенное возвращение к первоначальному положению с той же скоростью;

весь маневр занимал 150 мс. Всего в исследовании было три режима стимуляции – только подсветка объекта («П»), только движение («Д»), а также комбинированный вариант с подсветкой и движением объекта одновременно («П+Д»). Режимы стимуляции чередовались в случайном порядке для каждого испытуемого (для отдельного испытуемого заново генерировалась случайная очередность трех режимов).

Для каждого режима стимуляции строился отдельный классификатор (линейный дискриминант Фишера), после чего начиналась основная часть, где испытуемым предлагалось поочередно «выбирать» с помощью интерфейса указанные объекты, концентрируя на них внимание и мысленно считая число подсветок или движений целевого объекта. Текущий целевой объект указывался в нижней части экрана. Одна стимульная последовательность состояла из одного целевого и пяти нецелевых стимулов, предъявляемых в случайном порядке. И для настройки классификатора, и в основной части использовалось пять стимульных последовательностей, т.е. каждый целевой объект подсвечивался или двигался по пять раз. В одном блоке записи ЭЭГ нужно было выбрать последовательно 8 объектов. В каждом из трех режимов стимуляции было три таких блока.

Часть 3. Исследование эффекта расстояния между стимулами в ИМК-P300 с началом движения в качестве стимула. В этой части работы изучалось влияние расстояния между стимулами при использовании испытуемыми ИМК-P300, описанного во второй части работы. Для этого было использована два варианта расположения элементов матрицы. В первом из них (режима «компактная матрица») размеры и взаимное расположение объектов в матрице соответствовало описанному в предыдущей части ИМК. Во втором варианте (режим «разреженная матрица») размер объектов сохранялся прежним (2,2°), однако, они располагались на значительном расстоянии друг от друга (расстояние между двумя соседними объектами составляло 2,2°), что исключало попадание в фовеальную область зрения других стимулов при фиксации только на целевом стимуле. В каждом из двух вариантов расположения стимулов было три режима стимуляции, как и в предыдущей части работы: только подсветка объекта («П»), только движение («Д»), а также комбинированный вариант с подсветкой и движением объекта одновременно («П+Д»). Таким образом, всего было шесть режимов, чередующихся в случайном порядке между собой, для каждого из которых строился отдельный классификатор. Задание испытуемых и схема всего эксперимента соответствовали описанным во второй части работы, за исключением небольшого сокращения объема записываемых данных, чтобы чрезмерно не увеличивать длительность эксперимента при увеличении числа режимов вдвое.

Анализ результатов. По результатам работы каждого испытуемого рассчитывалась средняя точность его управления с помощью данного ИМК как отношение общего числа правильно введенных команд к общему числу попыток. Для анализа ПСС отдельно усреднялись эпохи в ответ на целевые и нецелевые стимулы.

Перед разбиением на эпохи ЭЭГ подвергалась полосной фильтрации в полосе 0.5– Гц (фильтр Баттерворта с компенсацией сдвига фазы). Амплитуда волны P определялась как максимальное значение амплитуды сигнала ЭЭГ в целевых или разностных ПСС (целевые минус нецелевые) в окне [250 500] мс, либо окно подбиралось индивидуально для отдельных испытуемых. Амплитуда компонента N определялась как минимальное значение амплитуды сигнала ЭЭГ в целевых или разностных ПСС в окне [120 250] мс (усреднение в отведениях PO7, PO8, O1, O2).

Статистический анализ полученных данных осуществлялся в среде MATLAB 7. (MathWorks) с помощью специально написанных программ, а также в пакете STATISTICA 7.0 (StatSoft). Использовались критерии Стьюдента, Вилкоксона, Манна-Уитни, а также однофакторный (ANOVA) и многофакторный (MANOVA) дисперсионный анализ.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ И ОБСУЖДЕНИЕ Часть 1. Многодневная работа испытуемых в ИМК-P300 со стимулами, предъявляемыми на движущихся объектах. В нашем исследовании мы впервые показали, что ИМК-P300 обеспечивает стабильный контроль в случае, если позиции стимулов не фиксированы в пространстве, как в стандартном подходе, а находятся в постоянном движении, т.е. их позиции постоянно меняются относительно друг друга.

Усредненная по испытуемым точность в группе «1» в течение четырех сессий варьировала от 64 до 68%. В группе «3» средняя точность в течение сессий варьировала от 79 до 82% (рисунок 1).

Рис. 1. Точность классификации в эксперименте для группы «1» с однократным предъявлением (n=6) и группы «3» с трехкратным предъявлением (n=6) в течение четырех сессий.

Таким образом, точность в нашем ИМК многократно превышала случайный уровень, который составлял 11% (поскольку происходил выбор из 9 объектов).

Несмотря на то, средний уровень точности, достигнутый испытуемыми в нашем исследовании, ниже, чем во многих работах по ИМК-P300 (Farwell et al., 1988;

Sellers et al. 2006b;

Guger et al., 2009;

Townsend et al., 2010), важно помнить, что точность эта была достигнута при минимально возможном числе предъявлений стимулов: при трех усреднениях эпох ЭЭГ (группа «3»), либо совсем по единичной эпохе (группа «1»).

Время на выбор команды в этих случаях составляло всего 3,4 и 1,1 секунды, соответственно. В то время как в указанных работах детектирование цели осуществлялось на основе усреднения от 5 до 20 целевых эпох ЭЭГ, что при различной длительности межстимульных интервалов соответствовало времени на выбор одной команды от 15 до 108 секунд, что на 1-2 порядка больше, чем в нашем случае.

В других работах, где также использовалось минимальное (вплоть до одного) число предъявлений целевого стимула, были достигнуты схожие по точности результаты (Finke et al., 2009;

Blankertz et al., 2011). Однако дизайн в этих ИМК оставался статичным: стимулы предъявлялись в индивидуальных позициях матрицы, а в нашем случае стимулы предъявлялись на движущихся объектах-шарах. Это могло привести к ухудшению управления в ИМК по сравнению с неподвижными объектами за счет осложнения детекции целевого стимула и отвлечению на нецелевые стимулы, что могло бы приводить к снижению внимания к целевому стимулу. Однако мы показали, что даже в условиях движения позиций стимулов точность сохраняется на приемлемом уровне, сравнимом с указанным исследованием, где движение отсутствовало.

А Б Рис. 2. Усредненные по группе и по четырем сессиям целевые (черный) и нецелевые (серый пунктир) ПСС: (А) – группа «1» (n=5), (Б) – группа «3» (n=5).

Момент начала стимула соответствует 0 мс.

На рисунке 2 представлены ПСС, усредненные по испытуемым каждой из групп, а также по всем четырем сессиям. При сравнении ПСС в ответ на целевые и нецелевые стимулы обращает внимание на себя тот факт, что реакции на нецелевые стимулы практически отсутствовали. Показано, что предъявление стимулов случайными группами или по-отдельности может приводить к тому, что подсветки нецелевых стимулов значительно меньше отвлекают внимание (Townsend et al., 2010), чем подсветки, сгруппированные в строки и столбцы, как в классическом ИМК-P300, что ведет к значительно меньшей амплитуде в ответах на нецелевые стимулы и, следовательно, уменьшенному числу ошибок. В нашем случае эффект предъявления стимулов на отдельных не сгруппированных объектах усиливался еще тем, что эти объекты находились в постоянном движении. При слежении за движущейся целью на сетчатке фиксируется только ее изображение, в то время как изображения всех остальных стимулов при их движении постоянно проецируются в разные точки сетчатки. Это могло также способствовать отсутствию устойчивого паттерна реакций в нецелевых ПСС. Такой дизайн с движущимися стимулами, по-видимому, является наиболее прогрессивным для наилучшей дискриминации реакций в ответ на целевые и нецелевые стимулы, что на практике может отражаться в более точном распознавании целевых команд интерфейсом.

Другим важным эффектом в отношении ПСС, зарегистрированных в нашем исследовании, является более высокая амплитуда ПСС в группе «1» с однократным предъявлением по сравнению с группой «3» с трехкратным предъявлением (рисунок 3). Различия были обнаружены для амплитуды P300 в отведении Pz, где она была выражена лучше всего (F(1,7)=6,0, p=0,04), а в отведении Cz различия отсутствовали (F(1,7)=0,02, p=0,89). Также, несмотря на отсутствие значимых различий для амплитуды N1 (F(1,9)=0,9, p=0,37), из рисунка 3 видно, что в группе «1» она также была больше, чем в группе «3» (различия могли не достичь уровня значимости из-за небольших размеров групп). Полученные эффекты более высокой амплитуды ПСС при однократном предъявлении целевого стимула можно рассматривать как преимущество данного режима стимуляции по сравнению с многократным предъявлением, поскольку это может свидетельствовать о более высокой дискриминирующей способности ПСС в отношении целевых и нецелевых команд, что можно использовать в дальнейшем при разработке более эффективных ИМК.

А Б Рис. 3. Амплитуда компонента N1 (А) и волны P300 (Б) для группы «1» с однократным предъявлением (n=6 для N1 и n=5 для P300) и группы «3» с трехкратным предъявлением (n=6 для N1 и n=5 для P300) в течение четырех сессий.

Для N1 приведены абсолютные значения амплитуды. Показаны среднее и стандартное отклонение.

При анализе динамики ПСС в четырех сессиях не было обнаружено эффектов роста амплитуды ПСС ни в одной из групп испытуемых. Амплитуда компонента N не менялась на протяжении сессий (=0,8, F(3,7)=0,7), а для амплитуды волны P300, наоборот, даже была обнаружена тенденция к уменьшению (=0,3, F(3,5)=4,9, p=0,06). Причем при однократном предъявлении целевого стимула уменьшение амплитуды было не таким значительным, как при трехкратном предъявлении (рисунок 3). Возможным объяснением таких различий в динамике P300 между группами может быть больший уровень внимания, обусловленный лучшей вовлеченностью в задачу и азартом, у испытуемых с однократным предъявлением, чем с трехкратным. Несмотря на более высокую амплитуду P300 и N1 в группе «1», точность работы в ней была ниже, чем в группе «3» (рисунок 1), что логично следует из методики: в первом случае отсутствие усреднений стимулов приводило к большему числу ошибок, в то время как вариации во внимании и амплитудах ПСС в группе «3» нивелировались за счет усреднения реакций на три стимула. Вероятно, в этих условиях для испытуемых группы «1» был характерен более высокий уровень внимания к единственной подсветке целевого стимула, а у испытуемых группы «3»

внимание могло шире распределяться на отдельные подсветки. Это может также объяснять более высокую амплитуду компонентов ПСС в группе «1» по сравнению с группой «3» (рисунки 2 и 3).

Согласно одному из наших предположений, тренировка в течение нескольких сессий в режиме с более быстрой обратной связью (группа «1») может быть более эффективной по сравнению с более отставленной и «усредненной» обратной связью (группа «3»). Чтобы проверить данное предположение, во второй половине четвертой сессии мы предложили испытуемым обеих групп работать в ИМК-P300 с более стандартным числом стимульных последовательностей (5 предъявлений целевого стимула на одну попытку – вместо одного или трех). Средняя точность работы в группе «1» в этом режиме, действительно, была несколько выше, чем в группе «3»

(88% и 83%, соответственно), однако различия были незначимы. Возможно, данный эффект был незначимым из-за малого числа испытуемых в каждой группе. Также в пользу отсутствия эффектов обучения говорит и отсутствие какой-либо динамики в точности работы испытуемых в течение сессий (рисунок 1, =0,8, F(3,18)=1,4, p=0,28).

Можно также предположить, что отсутствие эффектов обучения, может объясняться недостаточным числом сессий. В двух других работах, где оценивалась динамика работы испытуемых в ИМК-P300, число сессий было равно трем, и рост показателей либо не наблюдался (Wang et al., 2012), либо был незначительным и объяснялся лишь первичным привыканием к задаче, поскольку отдельные сессии были очень коротки (Arico et al, 2011). Наконец, отсутствие положительных эффектов как на точность, так и на ПСС, на протяжении четырех сессий может быть связано с весьма трудным заданием испытуемых в нашей модификации ИМК-P300. Все испытуемые отмечали, что некоторые фрагменты изображений, помещенные на шарах, были особенно «трудными», и часто вызывали ошибки. Не исключено, что параметры движения и взаимодействия шаров (при столкновениях) были не оптимальны, и поэтому могли, наоборот, способствовать ослаблению внимания из-за отвлечения его на нецелевые объекты-дистракторы, вместо того, чтобы способствовать более высокому уровню внимания, как нами предполагалось исходно. Кроме того, мы не использовали в нашей работе специальных алгоритмов обработки сигнала, способных лучше выделить реакции на целевые стимулы из общего шума и реакций на нецелевые стимулы, поэтому обратная связь в виде распознанного классификатором объекта могла несколько «загрязняться». Все отмеченные факторы могли вести к тому, что наш дизайн ИМК-P300 мог оказаться не достаточно эффективным для тренировки пользователей.

В числе прочих результатов можно также отметить высокий и стабильный (отсутствие изменений: =0,8, F(3,8)=0,7, p=0,57) уровень интереса испытуемых к задаче в течение всех четырех сессий, несмотря на одно и то же задание во все дни.

Анализ динамики интереса на протяжении многодневного использования ИМК-P немаловажен для оценки его потенциала при использовании здоровыми испытуемыми. Работая в ИМК на протяжении многих сессий и выполняя каждый раз однообразные инструкции, испытуемые могут постепенно терять интерес к задаче, что будет отрицательно сказываться на уровне внимания и амплитуде ПСС. Поэтому сохранение интереса в нашем исследовании на постоянном уровне в течение четырех сессий говорит в пользу эффективности применения всех особенностей нашего дизайна ИМК-P300.

Использование стандартного режима с многократным предъявлением стимула в ИМК-P300 обычно подразумевает идею о том, что реакции на все стимулы одинаковы (например, Blankertz et al., 2011). Но есть основания ожидать, что у реакций на первые целевые стимулы при их многократном предъявлении существует своя специфика, и их вклад в ПСС при усреднении всех целевых стимулов довольно значимый. На сегодняшний момент нам не известно работ, где эффекты позиции стимулов изучались бы именно в рамках ИМК-P300, где предъявление стимулов имеет свою специфику по сравнению с не-ИМК исследованиями по изучению эффектов позиции стимулов и межстимульных интервалов. В нашей работе были впервые проанализированы особенности потенциалов мозга, связанных с событиями (ПСС), в ответ на первые предъявления стимулов в парадигме ИМК-P300 (рисунок 4).

Нам не удалось найти значимых отличий амплитуды компонента N1 между первым, вторым и третьим предъявлениями стимулов. Напротив, амплитуда волны P300 в ответ на первый стимул была значимо выше, чем в ответах на второй и третий стимул (p0,05 во всех случаях по парному критерию Стьюдента), а в отведении Pz, где P была наиболее выражена, ее амплитуда также была наиболее высокой в режиме с однократным предъявлением стимулов по сравнению с трехкратным (t(8)=2,55, p=0,03). В целом полученные нами данные согласуются с известными из литературы эффектами снижения амплитуды компонентов ПСС при последовательных предъявлениях стимулов – явление габитуации (Fruhstorfer et al., 1970;

Lew et al., 1993;

Murphy et al., 2004). Однако наличие и мощность этих эффектов в рамках ИМК P300 не могли быть предсказаны только на основе существующих работ, условия которых обычно значительно отличаются от парадигмы ИМК-P300, следовательно, для ответа на данный вопрос требовались соответствующие эксперименты. Кроме того, полученные нами данные могут быть интерпретированы в свете большого количества исследований, где показано увеличение амплитуды компонентов при удлинении межстимульных интервалов (Gonsalvez et al., 1999;

Strber et al., 2002;

Gonsalvez et al., 2002;

Croft et al., 2003). На интервал между целевыми стимулами косвенно влияют вероятность появления целевого стимула, межстимульный интервал и число предшествующих нецелевых стимулов. В нашей работе в режиме с трехкратным предъявлением стимулов (группа «3») средний интервал между всеми целевыми стимулами был около 1 секунды, в то время как интервал между последним целевым стимулом предыдущего блока и первым целевым стимулом следующего блока был гораздо больше – не менее 9 секунд. Такое соотношение интервалов может объяснять более высокую амплитуду ПСС в ответ на первый стимул по сравнению с остальными стимулами, разделенными более короткими интервалами. В режиме с однократным предъявлением фокус внимания к первому и единственному стимулу мог быть выше, чем при трехкратном предъявлении, где внимание может распределяться для реагирования на три последовательных стимула, поэтому амплитуда ПСС в группе «1» могла быть выше, чем в ответ на первые целевые стимулы в группе «3», несмотря на примерно одинаковые интервалы перед целевым стимулом в обоих случаях.

Рис. 4. Амплитуда волны P300 (в Cz и Pz) и N1 (в затылочных отведениях) в группе «1» с однократным предъявлением (n=6), суммарно в группе «3» с трехкратным предъявлением (n=6), а также при усреднении отдельно по каждому из трех целевых стимулов в группе «3». Для N1 приведены абсолютные значения амплитуды. * – p0,05.

Кроме анализа ПСС, мы аналогично рассчитали оффлайн точность классификации для каждого из трех целевых стимула в отдельности в режиме с трехкратным предъявлением (т.е. по неусредненным данным). В отличие от амплитуд ПСС, здесь мы не обнаружили значимых различий как между точностью для отдельных целевых стимулов в группе «3», так и по сравнению с точностью в группе «1» с однократным предъявлением стимула. Поэтому очевидно, что описанные эффекты для ПСС не оказывали существенного воздействия на работу ИМК в нашем случае. Однако классификатор в наших экспериментах настраивался на ПСС, регистрируемых при предъявлении большого числа стимулов (восьми), которые могли иметь и другие отличия, вследствие чего он мог оказываться менее эффективным при малом числе стимулов. Вполне возможно также, что целенаправленный подбор условий для еще большего выделения значимости первого и/или даже последнего стимула в ИМК-Р300 мог бы позволить еще больше увеличить амплитуду ПСС в ответ на соответствующие предъявления стимулов либо в ответ на однократные предъявления целевых стимулов. Полученные данные по анализу эффекта позиции стимулов свидетельствуют о возможности повышения эффективности ИМК-P300 за счет модификации алгоритмов распознавания целевых ПСС в направлении их дифференциального оценивания в ответах на первый и последующие целевые стимулы.

Часть 2. Использование начала движения объекта в качестве стимула в ИМК-P300. В отличие от первой части работы, где дизайн ИМК включал движение стимульных позиций, а само движение не связано с моментами начала стимулов, во второй части исследования мы разработали модификацию ИМК-P300, где стимулом может являться непосредственно момент начала движения объекта. Целью этого исследования было оценить пользовательские характеристики и ПСС в созданной нами модификации ИМК-P300 с комбинированными стимулами «подсветка+движение», а также показать возможность размещения стимулов символов в таком ИМК в компактном формате, облегчающем его встраивание в различные системы управления внешними техническими устройствами. Главным результатом было то, что все испытуемые уже после пятиминутной настройки классификатора сразу смогли вводить команды с помощью нашего интерфейса. При этом при использовании в качестве стимулов подсветок либо комбинации подсветок с движением точность была выше, чем при использовании только движения в качестве стимулов (рисунок 5, p0,05, тест Фишера для post hoc сравнений).

Также испытуемые отвечали на ряд вопросов об их субъективных предпочтениях относительно трех режимов стимуляции и сложностей работы с ними.

По результатам опросов для каждого испытуемого выставлялись баллы по трем режимам («баллы предпочтения»): за самый удобный и комфортный для работы режим выставлялось 3 балла, за самый неудобный и трудный – 1 балл. Для режима с комбинированным типом стимулов сумма баллов была наибольшей (46, среднее 2,19±0,18), хотя отличия от режимов с подсветками и движением не были значимы (37, среднее 1,76±0,17 и 42, среднее 2,00±0,19, соответственно). Тем не менее, основываясь на этих данных, можно предположить, что для дизайна ИМК с компактным расположением стимулов, когда роль нецелевых объектов-дистракторов внимания особенно возрастает, использование в качестве стимула начала движения объекта, наряду с его подсветкой, может способствовать лучшей фиксации внимания на целевом объекте и предотвращению ошибок, связанных с его смещением к нецелевым объектам.

Рис. 5. Точность работы испытуемых (n=21) в разных режимах стимуляции:

только подсветки («П»), одновременно подсветки и движение («П+Д»), только движение («Д»). Показаны среднее и стандартная ошибка среднего. * – p0,05.

Как и точность, амплитуда P300 была одинаковой в режимах с комбинированными стимулами и только с подсветками, однако в режиме только с движением P300 была ниже. Амплитуда компонента N1 была максимальна в режиме с подсветками, а в режимах с комбинацией «подсветка+движение» и с движением N был примерно вдвое ниже (рисунок 6, p0,05, тест Фишера для post hoc сравнений).

Рис. 6. Амплитуды компонентов P300 (отведении Pz) и N1 (усреднение по отведениям PO7, PO8, O1, O2) в трех режимах стимуляции: режим с подсветками («П»), режим с подсветками и движением («П+Д»), режим с движением («Д»). Для N приведены абсолютные значения амплитуды. Показаны среднее и стандартная ошибка среднего. * – p0,05.

Известно несколько работ по построению ИМК-P300 со стимулами на основе начала движения вместо подсветок. Однако в них либо не производилось прямого сравнения использования подсветок и движения, а также их комбинации в качестве стимулов (Hong et al., 2009;

Liu et al., 2010), либо за основу была взята объемная буквенная матрица с большим числом символов (Jin et al., 2012). Представляется вероятным, что подсветки стимулов (либо с движением, либо в его отсутствии) способствуют лучшему захвату внимания, и, следовательно, более высокой амплитуде волны P300 по сравнению только с движущимися стимулами. Этим может объясняться более низкая амплитуда P300 и точность в режиме с движением. Более низкая амплитуда компонента N1 в обоих режимах, где присутствовало движение, может объясняться чувствительностью данного компонента к направлению взгляда (Шишкин и соавт., 2011;

Treder et al., 2010;

Frenzel et al., 2010). В случае движущихся стимулов фиксация взгляда на целевом стимуле менее устойчива по сравнению с неподвижными стимулами, поэтому компонент N1 может уменьшаться, а волна P меняться в меньшей степени, поскольку она может быть получена в таких вариантах ИМК-P300, где фиксация на целевом стимуле не требуется (Liu et al., 2011).

Разработанная нами модификация ИМК-P300 представляет собой достаточно компактный вариант интерфейса, который может быть использован для управления различными робототехническими устройствами. Стимулы предъявлялись в поле размером чуть больше 1111 см, размер которого может быть еще больше уменьшен, например, для размещения на портативном дисплее. Пользователю доступно шесть команд, которых может быть достаточно для управления, например, нейропротезом или роботом. Хотя в нашей работе движущиеся стимулы и не обеспечили результатов, превосходящих обычный тип стимуляции в ИМК-P300 с подсветками, мы показали, что использование движения в комбинации с подсветками дает не худшие результаты, чем подсветки в отдельности, а по некоторым параметрам даже превосходит стимуляцию с подсветками (на 3% более высокая точность и на 24% баллы предпочтения). Кроме того, использование в ИМК-P300 движущихся стимулов предположительно может быть менее утомительным и более интересным для пользователя (Hong et al., 2009, Ganin et al., 2011), что может способствовать поддержанию более высокого уровня внимания при работе. Последнее является выигрышным положением при разработке компактного варианта ИМК-пульта управления, поскольку в этом случае могут возникать негативные эффекты, связанные с небольшим размером стимулов и их близким расположением друг к другу.

Аналогично проведенному в первой части работы анализу по исследованию эффекта позиции стимулов в ИМК-P300, в этой части работы также был проведен подобный анализ. Он выявил влияние эффекта позиции на амплитуду P300: она постепенно снижалась от первого предъявления целевого стимула к последующим, однако это было характерно лишь для двух режимов, где в составе стимула присутствовало движение. Казалось бы, такое снижение амплитуды P300 при использовании движущихся стимулов может говорить о меньшей эффективности этих стимулов по сравнению с обычными подсветками, амплитуда P300 для которых оставалась на примерно одинаковом уровне. Однако в режиме с комбинированными стимулами амплитуда P300 снижалась лишь до уровня режима с подсветками, исходно же P300 для первых двух позиций была даже выше, чем при подсветках, хотя и незначимо. Вместе с тем этих различий в амплитуде оказалось не достаточно, чтобы привести заметным различиям в точности классификации для соответствующих позиций стимулов. Возможно, при меньшем числе предъявлений стимулов (как в первой части работы) требуется больше затрат внимания и более точная реакция, поскольку достичь высокой точности при небольшом числе усреднений стимула сложнее. Это может приводить к тому, что субъективная оценка значимости всех стимулов при пяти предъявлениях будет меньше, а внимание к разным стимулам может распределяться более равномерно, поэтому эффект значимости первого стимула может быть более слабым. В этих условиях, можно было бы, например, попытаться подобрать условия стимуляции, при которых эффект превосходства первых целевых стимулов «подсветка+движение» оказался бы более выраженным, а в сочетании с уменьшенным числом повторений целевого стимула (например, трех) это могло бы выделить значимость первой позиции еще больше, что позволило бы повысить эффективность ИМК.

Часть 3. Исследование эффекта расстояния между стимулами в ИМК-P300 с началом движения в качестве стимула. В связи с дизайном ИМК в нашем эксперименте в виде компактного пульта управления, стимулы в нем располагались крайне близко друг к другу, таким образом, что нецелевые объекты, схожие с целевым, могли отвлекать внимание пользователя, т.е. быть «дистракторами», что могло также негативно влиять на реакции мозга на целевые стимулы. Чтобы проверить, связана ли пониженная амплитуда ПСС в режимах с движением с особенностями восприятия движущихся стимулов, или является результатом сниженной реакции на целевые стимулы из-за наличия дистракторов, мы решили сравнить ПСС при компактном и более далеком расположении стимулов друг от друга. Кроме того, при разработке компактного пульта управления на основе описанного «гибридного» ИМК-P300 важно было исключить наличие негативных эффектов на управление, связанных с близостью расположения стимулов в нем. В результатам проведенной экспериментальной серии было выявлено отсутствие эффекта расстояния между стимулами на точность управления в ИМК. Мы также не обнаружили значимого влияния эффекта расстояния между стимулами в ИМК-P на амплитуды компонентов P300 и N1. Из этого можно сделать вывод о том, что более низкая амплитуда P300 и особенно N1 в режимах с движением, наблюдавшаяся еще во второй части работы, обусловлена именно особенностями восприятия движущихся стимулов, а не отвлекающей ролью объектов-дистракторов, возрастающей при плотном расположении стимулов.

Отсутствие значимых различий, как в точности, так и в амплитудах ПСС между «компактным» и «разреженным» форматами матрицы создает перспективу для дальнейшего развития такого рода пультов управления с плотным расположением команд без снижения эффективности таких ИМК. Такой дизайн ИМК-P300, как уже было отмечено, позволяет располагать стимульную матрицу на портативных мобильных дисплеях, что важно для прикладного аспекта применения технологии ИМК. Помимо этого, небольшой размер матрицы, основная часть которой проецируется на фовеальную и ближайшую к ней парафовеальную область сетчатки, может быть полезен в интерфейсах, нацеленных на использование пациентами с нарушениями фиксации взгляда, когда выбор команды может быть основан только на реакции внимания к целевому стимулу без обязательной фиксации на нем.

ЗАКЛЮЧЕНИЕ В ходе проведенного исследования были предложены различные регламенты предъявления стимулов и организации самого контура ИМК-P300. Целью всех этих модификаций была оптимизация работы пользователя в интерфейсе и поиск возможных перспектив, а также ограничений для развития этой нейротехнологии.

Мы впервые показали, что построение ИМК-P300 на основе движущихся позиций стимулов обеспечивает стабильное управление в виде выбора из предлагаемых команд тех, на которые направлено внимание пользователя.

Достаточный уровень надежности управления сохранялся даже при минимальном числе предъявлений стимулов (однократном и трехкратном). Несмотря на отсутствие эффектов обучения при длительной работе в нашем ИМК, он обеспечил стабильный и достаточно высокий уровень интереса для всех испытуемых в течение четырех сессий, проходивших в разные дни. По-видимому, негативные эффекты движения позиций стимулов, наличие которых можно было предположить из литературных данных, в нашей работе могли отсутствовать, или частично компенсироваться игровым дизайном и элементами движения в нашем ИМК, что могло обеспечивать высокий уровень внимания при работе в нем. Несмотря на отмеченные возможные причины отсутствия эффектов обучения при длительной работе в ИМК, результаты нашего исследования создают положительную перспективу для последующей оптимизации и внедрения подобного ИМК в самые разнообразные системы управления.

Также мы исследовали применение в ИМК-P300 комплексного типа стимуляции, где в качестве управляющего стимула используется начало движения символьной команды наряду с ее подсветкой. Показанная нами эффективность такого ИМК представляется особенно высокой в условиях, где требуется применение компактного пульта управления с относительно небольшим числом команд (например, для управления подвижными роботами-манипуляторами). В этих случаях применение комплексных стимулов может быть компенсирующим фактором в условиях негативных эффектов внешней среды, ослабляющих внимание и затрудняющих управление.

В обоих разработанных вариантах ИМК-P300 мы изучили эффект позиции целевых стимулов в последовательности их предъявления на характеристики работы ИМК. Были выявлены особенности позиции преимущественно первых стимулов, для которых была характерна повышенная амплитуда P300. Учет этих особенностей при модификации алгоритмов классификации может способствовать повышению эффективности интерфейсов на волне P300, в особенности при использовании комплексных стимулов «подсветка+движение» по сравнению с обычными подсветками.

В последней части работы были исследованы эффекты расстояния между стимульными командами в ИМК-P300 со стимулами на основе движения. Было показано отсутствие значимых различий при компактном и очень далеком расположении стимулов в стимульной матрице, что создает перспективу для дальнейшего развития такого рода ИМК-пультов управления с плотным расположением команд без снижения их эффективности.

ВЫВОДЫ 1. Впервые разработан высокоэффективный интерфейс мозг-компьютер на волне P300 (ИМК-P300), в котором командные стимулы располагаются на движущихся объектах, что существенно расширяет варианты различных приложений технологии.

2. Разработанный ИМК обеспечил всем испытуемым рекордно высокую скорость ввода команды: при трехкратном предъявлении целевого стимула выбор команды возможен за 3,4 секунды, а точность при этом была выше, чем при однократном предъявлении, где время на выбор команды составляет 1,1 секунды. Амплитуды компонентов ПСС были выше при однократном предъявлении стимула, чем при трехкратном, свидетельствуя о более высоком уровне внимания в этом режиме.

3. Многократное применение здоровыми испытуемыми интерфейса с движущимися позициями стимулов не ухудшает показателей его работы: в четырех последовательных сессиях не было обнаружено значимого снижения точности работы испытуемых в ИМК и амплитуд компонентов P300 и N1 потенциалов мозга, а оцененный с помощью визуальных шкал уровень интереса испытуемых к задаче оставался на высоком и стабильном уровне, несмотря на идентичность задания во всех сессиях.

4. Предложен новый «гибридный» ИМК-P300 в виде компактного пульта управления, где в качестве стимула кроме подсветки используется также начало движения объекта. Этот ИМК обеспечил сравнимую со стандартной стимуляцией точность работы и был выбран многими испытуемыми как наиболее удобный и простой режим работы по сравнению с другими типами стимулов.

5. Амплитуда волны P300 в этом ИМК была максимальной для стимулов подсветок, а также для нового типа стимулов «подсветка+движение», обеспечивающих поддержание внимания на более высоком уровне за счет уменьшения монотонности задачи испытуемого. Амплитуда компонента N1 была максимальной для стимулов-подсветок.

6. В обоих разработанных вариантах ИМК-P300 с движением стимулов были выявлены эффекты позиции целевых стимулов в последовательности их предъявления: амплитуда P300 для первых стимулов была более высокая, чем для последующих. Учет этих особенностей позволит разработать более совершенные алгоритмы распознавания в ИМК-P300.

7. Была показана устойчивость «гибридных» ИМК с движущимися стимулами к значительным вариациям пространственного расположения командных символов, что создает перспективу для дальнейшего развития такого рода ИМК-пультов управления с плотным расположением команд без снижения их эффективности.

СПИСОК РАБОТ, ОПУБЛИКОВАННЫХ ПО ТЕМЕ ДИССЕРТАЦИИ Публикации в журналах, рекомендованных ВАК РФ 1. Ganin I.P., Shishkin S.L., Kaplan A.Ya. A P300-based brain-computer interface with stimuli on moving objects: four-session single-trial and triple-trial tests with a game-like task design. PLOS ONE. 2013 (accepted with minor revision).

2. Ганин И.П., Каплан А.Я. Интерфейс мозг-компьютер на основе волны P300:

предъявление комплексных стимулов «подсветка + движение». Журн. высш.

нерв. деят. 2013 (принято в печать).

3. Ганин И.П., Шишкин С.Л., Кочетова А.Г., Каплан А.Я. Интерфейс мозг компьютер «на волне P300»: исследование эффекта номера стимулов в последовательности их предъявления. Физиология человека. 2012;

38(2):5-13.

4. Каплан А.Я., Кочетова А.Г., Шишкин С.Л., Басюл И.А., Ганин И.П., Васильев А.Н., Либуркина С.П. Экспериментально-теоретические основания и практические реализации технологии интерфейс мозг-компьютер. Бюллетень Сибирской медицины. 2013. Т.12, №2, С. 21-29.

5. Kaplan A.Ya., Shishkin S.L., Ganin I.P., Basyul I.A., Zhigalov A.Y. Adapting the P300-based brain-computer interface for gaming: a review. IEEE Transactions on Computational Intelligence and AI in Games. 2013. 5(2):141-149. [ doi:

10.1109/TCIAIG.2012.2237517 ] 6. Shishkin S.L., Ganin I.P., Kaplan A.Y. Event-related potentials in a moving matrix modification of the P300 BCI paradigm. Neuroscience Letters. 2011;

496(2):95-99.

7. Shishkin S.L., Ganin I.P., Basyul I.A., Zhigalov A.Yu., Kaplan A.Y. N1 wave in the P300 BCI is not sensitive to the physical characteristics of stimuli. J. of Integrative Neuroscience. 2009;

8(4):471-485.

Публикации в других изданиях 8. Ганин И.П., Половицкая М.М., Каплан А.Я. Интерфейс мозг-компьютер на волне P300 с комплексными стимулами «подсветка+движение». В сб.:

Когнитивная наука в Москве: новые исследования. Москва. 19 июня 2013 г. С.

79.

9. Ганин И.П., Шишкин С.Л., Григорян Р.К., Басюл И.А., Каплан А.Я. Интерфейс мозг-компьютер на волне P300 со стимулами, предъявляемыми на движущихся объектах. В сб.: Материалы XVI Междунар. конф. по нейрокибернетике.

Ростов-на-Дону, 24-28 сентября 2012 г. Изд-во ЮФУ, 2012. Т. 2. Симпозиум «Интерфейс мозг-компьютер». С. 22-25.

10. Ganin I.P., Shishkin S.L., Kaplan A.Y. A P300 BCI with stimuli presented on moving objects. In: Proceedings of the Fifth International BCI Conference. Graz, Austria, 22-24 September, 2011. P. 308-311.

11. Shishkin S.L., Nikolaev A.A., Nuzhdin Y.O., Zhigalov A.Y., Ganin I.P., Kaplan A.Y. Calibration of the P300 BCI with the single-stimulus protocol. In: Proceedings of the Fifth International BCI Conference. Graz, Austria, 22-24 September, 2011. P.

256-259.

12. Шишкин С.Л., Ганин И.П., Николаев А.А., Каплан А.Я.

Психофизиологические и вычислительные перспективы использования компонента N1 мозговых потенциалов в интерфейсе мозг-компьютер «на волне P300». Труды XIII всероссийской научно-технической конференции «Нейроинформатика-2011» (МИФИ, 24 января - 28 января 2011 г.). С. 192-201.

13. Ганин И.П. Интерфейс мозг-компьютер на волне P300 с однократным предъявлением стимулов. В сб.: Международная научная конференция и молодежная школа «На пути к нейроморфному интеллекту: эксперименты, модели и технологии». Нижний Новгород. 3-7 октября 2011 г. С. 7.

14. Шишкин С.Л., Ганин И.П., Каплан А.Я. Ваше внимание жмет на кнопки!

Сможете ли вы стать внимательнее? В сб.: Когнитивная наука в Москве: новые исследования. Москва. 16 июня 2011 г. С. 287.

15. Ганин И.П. Анализ компонентов N1 и P300 потенциалов мозга в новых модификациях интерфейса мозг-компьютер "на волне P300". Научная сессия НИЯУ МИФИ-2011. 14-я Международная телекоммуникационная конференция молодых ученых и студентов «Молодежь и наука». Секция 24. Биофизика и когнитивные исследования. Москва, 2011. (http://www.mephi.ru/molod/docs.php) 16. Каплан А.Я., Шишкин С.Л., Басюл И.А., Ганин И.П., Жигалов А.Ю.

Демонстрация игрового интерфейса мозг-компьютер, основанного на дискриминации целевых объектов в зрительном поле. Сборник научных трудов. XIV выставка-конференция «Телекоммуникации и новые информационные технологии в образовании». Москва, НИЯУ МИФИ, 2010. С.

110-111.

17. Ганин И.П.. Устойчивость компонента N1 потенциалов коры мозга в интерфейсе мозг-компьютер «на волне P300» к вариациям пространственных характеристик стимулов. XVII Международная конференция студентов, аспирантов и молодых учёных «Ломоносов». Москва. 12-15 апреля 2010 г. С.

219.

18. Ганин И.П.. Компонент N1 потенциалов коры мозга и пространственные факторы в интерфейсе мозг-компьютер «на волне Р300». В сб.: Материалы XIV Науч. конф. молодых ученых ИВНД и НФ РАН. Москва. 21-22 октября 2010 г.

С. 37.

19. Ганин И.П.. Позиционный интерфейс мозг-компьютер с движущимися элементами. В сб.: IV Научно-практическая конференция "Перспективы развития инноваций в биологии" (У.М.Н.И.К.). Москва. 8-10 декабря 2010 г.

20. Шишкин С.Л., Ганин И.П., Басюл И.А., Каплан А.Я. Интерфейс мозг компьютер на основе волны P300: волна N1 и проблема дистракторов. В сб.:

Материалы XV Междунар. конф. по нейрокибернетике. Ростов-на-Дону, 23- сентября 2009 г. Изд-во ЮФУ, 2009. Т. 2. Симпозиум «Интерфейс мозг компьютер». С. 30-33.

21. Kaplan A.Y., Shishkin S.L., Zhigalov A.Yu., Ganin I.P., Basyul I.A.. On the way to symbiotyc brain-computer interface. In: II International Symposium: Topical Problems of Biophotonics - 2009. Proceedings. Nizhny Novgorod, 19-24 July, 2009.

P. 208-209.

22. Ганин И.П.. N1-компонент электрических потенциалов мозга в интерфейсе мозг-компьютер. XVI Международная конференция студентов, аспирантов и молодых учёных «Ломоносов». Москва. 13-18 апреля 2009 г. С. 202.

23. Басюл И.А., Ганин И.П., Шишкин С.Л., Каплан А.Я.. Устойчивость работы в "символьном" интерфейсе мозг-компьютер при наличии дистракторов. Вторая всероссийская научно-практическая конференция «Количественная ЭЭГ и нейротерапия». Санкт-Петербург, 27-30 апреля 2009 г.

24. Ганин И.П.. Использование компонента N1 потенциалов коры мозга в интерфейсе мозг-компьютер. В сб.: Материалы XIII Науч. конф. молодых ученых ИВНД и НФ РАН. Москва. 14-16 октября 2009 г. С. 43.

25. Shishkin S.L., Ganin I.P., Kaplan A.Y. The P300 BCI is more than an oddball and more than a P300 BCI. In: Society for Psychophysiological Research. 49th Annual Meeting. Berlin. 21-24 October 2009. Psychophysiology, 2009. V. 46, Suppl. 1. P.

S47.

26. Ганин И.П.. Позиционный интерфейс мозг-компьютер с движущимися элементами. В сб.: Материалы III Научно-практической конференции "Перспективы развития инноваций в биологии" (У.М.Н.И.К.). Москва. 11- ноября 2009 г. С. 43-45.



 




 
2013 www.netess.ru - «Бесплатная библиотека авторефератов кандидатских и докторских диссертаций»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.