ИНТЕГРАЦИЯ НЕЙРОИНТЕРФЕЙСОВ С ВИРТУАЛЬНОЙ РЕАЛЬНОСТЬЮ (VR)

INTEGRATION OF NEURAL INTERFACES WITH VIRTUAL REALITY (VR)

Maria Zvereva

student, Department of Mathematical Support and Standardization of Information Technologies, MIREA – Russian Technological University,

Russia, Moscow

Andrey Rybnikov

lecturer, Department of Instrumental and Applied Software, MIREA – Russian Technological University,

Russia, Moscow

АННОТАЦИЯ

В этой статье представлен обзор проблем при интеграции нейроинтерфейсов с виртуальной реальность для разработки игр на платформах Unreal Engine и Unity, а также основные требования для разработки.

ABSTRACT

This article provides an overview of the problems associated with integrating neural interfaces with virtual reality for game development on the Unreal Engine and Unity platforms, as well as the basic development requirements.

Ключевые слова: виртуальная реальность, нейротехнологии, Unity, Нейроинтерфейсы, Unreal Engine.

Keywords: virtual reality, neurotechnology, Unity, Neural Interfaces, Unreal Engine.

В последние годы новые технологии активно внедряются во все сферы человеческой жизни — от сенсорных экранов в телефонах до передовых нейрогарнитур, способных с высокой точностью считывать показатели активности головного мозга пользователя. Одной из таких инноваций, стремительно набирающей популярность, является виртуальная реальность (VR). Виртуальная реальность представляет собой созданный с помощью компьютерных технологий искусственный мир, который передается человеку через органы зрения и слух, а иногда и через тактильные ощущения. Объекты в виртуальном мире могут действовать как по реальным, так и по альтернативным законам физики, что делает взаимодействие с ними увлекательным и захватывающим [1]. Пользователи взаимодействуют с виртуальной средой через устройства VR, состоящие из шлема, контроллеров и отслеживающих датчиков. Шлем оснащен одним или несколькими дисплеями, на которые передается визуальная информация. Для обеспечения возможности перемещения в виртуальном мире устройства включают системы отслеживания, состоящие из гироскопа, акселерометра и компаса, и обеспечивают широкий угол обзора [1].

Интерес к системам виртуальной реальности можно оценить по успеху адаптации классической игры жанра survival horror "Resident Evil 4" для виртуальной реальности, выпущенной в 2021 году эксклюзивно для Oculus Quest 2. К концу 2022 года игра стала одной из самых популярных VR-игр, с более чем 2 миллионами проданных копий и суммарной выручкой около 100 миллионов долларов. "Resident Evil 4 VR" завоевала популярность благодаря высокой степени погружения, захватывающему сюжету и продуманному игровому процессу. VR-версия игры сохраняет атмосферу и напряженность оригинальной игры, с улучшенной графикой и детализацией окружающей среды, что делает игровые сцены более реалистичными и угрожающими [5]. Вид от первого лица усиливает элементы хоррора, делая встречи с врагами и исследование жутких локаций более впечатляющими.

Нейротехнологии также оказывают значительное влияние на человеческую жизнь и общество, хотя часто остаются незаметными. Эти технологии включают различные методы улучшения и коррекции работы мозга, а также позволяют исследователям и врачам визуализировать мозговую деятельность. Нейротехнологии помогают лучше понять функционирование мозга и изучать аспекты сознания, мышления и высших психических функций.

Современный рынок электроники предлагает множество устройств, способных считывать биоэлектрические сигналы организма, включая электроэнцефалографические (ЭЭГ) данные, и передавать их на специализированные устройства. Электроэнцефалография использует электроды для регистрации слабых электрических импульсов мозга, возникающих в результате психического состояния или мыслительного процесса. Одним из известных потребительских нейроинтерфейсов являются устройства Muse, выпущенные компанией InteraXon. Эти носимые устройства также используют технологию электроэнцефалографии (ЭЭГ) для измерения активности мозга и предоставляют пользователю обратную связь о его состоянии [6]. Устройства Muse широко применяются в медитации и практиках управления стрессом. Они позволяют пользователям отслеживать свою ментальную активность в реальном времени через специализированные приложения на смартфонах или планшетах. Кроме того, устройства Muse используются в научных исследованиях и в практике биофидбека для помощи в лечении различных состояний, включая синдром дефицита внимания и гиперактивности (СДВГ) и депрессию [6].

Развитие технологий виртуальной реальности (VR) и нейротехнологий открывает перед нами новые горизонты в области взаимодействия человека с машинами. Однако, перед объединением этих двух технологий в одном пространстве возникают ряд проблем совместимости, требующих внимательного анализа и исследования. Важно обеспечить высокую точность и надежность регистрации мозговой активности, чтобы избежать ошибок и нежелательных результатов. Также необходимо учитывать индивидуальные особенности каждого пользователя и адаптировать методы взаимодействия под их потребности и возможности. Этические аспекты также играют важную роль, требуя защиты конфиденциальности и безопасности пользовательских данных.

Один из путей интеграции нейроинтерфейсов с VR заключается в использовании электроэнцефалографии (ЭЭГ) для регистрации мозговой активности пользователей. Это позволяет преобразовывать сигналы мозга в команды или управляющие сигналы для виртуального окружения. Однако, для обеспечения плавного и естественного взаимодействия необходимы высокая точность и надежность обработки сигналов.

С текущим уровнем развития нейротехнологий их уже применяют вместе с виртуальной реальностью для улучшения реабилитации через симуляции и погружения в определённые ситуации [2]. Это происходит потому, что в игровой форме люди усваивают и запоминают информацию гораздо лучше. Поэтому были разработаны игры, в которых человек должен контролировать свои показатели. Многие пациенты клиник, использующих нейротехнологии, часто прекращают выполнять упражнения, поскольку не видят изменений в своём состоянии. Однако сигналы от головного мозга, которые пациенты контролируют сами для продвижения в игре, воспринимаются позитивнее и дают лучшие результаты по сравнению с нейротехнологиями без игр [2]. Следует отметить, что в этих разработках нейротехнологии обычно не предоставляют пользователю дополнительных возможностей, что ограничивает потенциал их использования. Применение нейротехнологий как альтернативного способа взаимодействия с виртуальным миром, который предоставляет обратную связь пользователю, оказывается очень эффективным. Это обеспечивает стабильную обратную связь, необходимую для самооценки и дальнейших психологических выводов.

Для успешной интеграции нейроинтерфейсов с VR необходимо проводить дальнейшие исследования и разработки. Улучшение точности и надежности регистрации мозговой активности, адаптация методов взаимодействия под потребности пользователей, а также работа над этическими вопросами - все это является важными шагами на пути к достижению цели. В итоге, объединение виртуальной реальности и нейротехнологий представляет собой захватывающую перспективу для создания новых, более увлекательных и эффективных способов взаимодействия с технологиями. Однако, для достижения этой цели необходимо преодолеть ряд технических и этических вызовов, что требует совместных усилий и сотрудничества исследователей, разработчиков и общественности.

Возможность применения виртуальной реальности и нейротехнологий имеет потенциал, в связи с чем встают задачи комбинации данных типов устройств. Варианты решения могут быть разнообразны, начиная с полной разработки программ с нуля и заканчивая попытками применения уже готовых решений. Рассмотрим проблемы, которые возникают при разработке нейромодуля на игровых движках Unreal Engine и Unity. При разработке нейромодуля на игровом движке Unity проблем, как правило, не возникает. Благодаря языку программирования C#, используемому для написания файлов кода, имея документацию с алгоритмом считывания байтов данных с нейроинтерфейса, вполне возможно реализовать сам класс (модуль), работающий с нейрогарнитурой, и пару несложных механик на взаимодействии нейроинтерфейса и создать VR за несколько часов (при этом это будет готовый демонстрационный проект, показывающий новый способ взаимодействия с виртуальным миром посредством использования нейрогарнитуры). Разработка нейромодуля на игровом движке Unreal Engine, в сравнении с Unity, является более сложной задачей. Должны быть учтены следующие проблемы:

1. Отсутствие поддержки обработки исключений «try-catch»: в UE нет встроенной поддержки конструкции «try-catch» для обработки ошибок, как в других проектах. Вместо этого приходится использовать коды ошибок и конструкции if, что усложняет код и снижает его читабельность [4].
2. Ошибки в местах без изменений: при добавлении нового функционала в проекте UE могут появляться ошибки в местах, где изменений не вносилось. Это требует полной пересборки проекта, что занимает дополнительное время.
3. Медленная обратная связь IDE: инструментарий для разработки в UE может медленно сообщать о синтаксических ошибках, что затрудняет и замедляет процесс отладки.
4. Сборка модулей в отдельные плагины: после написания класса необходимо собрать его в отдельный плагин для использования в других проектах. Это требует настройки сборки под разные платформы, что может быть сложным и времязатратным [4].
5. Проблемы с поддержкой файлов Windows: для работы с нейрошлемом используются файлы Windows для реализации сокетов. Возникают ошибки, которые требуют определения макросов для корректной работы.
6. Статическая Blueprint-библиотека: нейромодуль реализован как статическая Blueprint-библиотека, что вызывает проблемы с сохранением значений полей класса после завершения теста. UE сохраняет эти данные до закрытия окна движка, что приводит к ошибкам при повторных запусках.
7. Автоматическое подключение к нейроинтерфейсу: устройство подключается через Bluetooth. Необходимо автоматически определять номер COM-порта, так как его ручное указание может привести к проблемам при смене компьютера.
8. Смена протокола обмена данными: использование программы «ThinkGear Connector» требует переписать алгоритмы подключения и считывания данных, что требует дополнительного времени [4].
9. Поиск сторонней библиотеки для анализа JSON: данные от «ThinkGear Connector» поступают в формате JSON, что требует использования сторонней библиотеки для их анализа, что также добавляет сложности.

Теперь рассмотрим минимальные и рекомендуемые требования к компьютеру для разработки нейромодуля и VR [3]:

Минимальные требования:

• Видеокарта: NVIDIA GeForce GTX 970, AMD Radeon R9 290 или эквивалентная модель.
• Процессор: Intel Core i5-4590 или AMD FX 8350, либо аналогичный по производительности.
• ОЗУ: 8 ГБ или больше.
• Видеовыход: HDMI 1.4 или DisplayPort 1.2.
• Совместимость с Bluetooth EBR.
• USB: 1x USB 2.0.
• ОС: Windows 10.

Рекомендуемые требования

• Видеокарта: NVIDIA GeForce GTX 1060, AMD Radeon RX 480 или более новая модель.
• Процессор: Intel Core i5-4590 или AMD FX 8350, либо аналогичный по производительности.
• ОЗУ: 8 ГБ или больше.
• Видеовыход: HDMI 1.4 или DisplayPort 1.2.
• Совместимость с Bluetooth EBR.
• USB: 1x USB 2.0.
• ОС: Windows 10.

Эти требования основаны на потребностях современного программного обеспечения и игр, таких как SUPERHOT VR, и опыте разработчиков Unity и Oculus (Unity Forum) (Requirements Test). Данные параметры обеспечат достаточную производительность для разработки и тестирования VR-приложений и нейромодулей, позволяя избежать лагов и обеспечить плавное взаимодействие с виртуальной средой.

Разработка приложения виртуальной реальности (VR) — это сложный процесс, требующий значительного времени и усилий, особенно при интеграции с нейрогарнитурой. Тем не менее, учитывая потенциал VR и перспективы его развития, интеграция с нейротехнологиями представляется весьма многообещающей. Таким образом, несмотря на определенные сложности и нюансы, вполне возможно реализовать персонализированное взаимодействие с виртуальной реальностью посредством нейротехнологий.

Список литературы:

1. Рахматуллаев А.Н., Иманбек Р.К., Рахымова А.Р. Технология виртуальной реальности [Электронный ресурс] URL: https://moluch.ru/archive/360/80615/. — Дата обращения: 20.05.2024.
2. Игры, которые лечат [Электронный ресурс]. URL: https://habr.com/ru/companies/nau_engine/articles/809821/. — Дата обращения: 24.05.2024.
3. Технические требования [Электронный ресурс] URL:  https://wiki.vrconcept.net/ru/aboutVRC/technical_requirements. — Дата обращения: 22.05.2024.
4. Мартин Р. Чистый код: создание, анализ и рефакторинг. Библиотека программиста / Пер. с англ. СПб.: Питер, 2013. 464 с. – Дата обращения: 23.05.2024.
5. Виктор Маркес, Сколько глав в Resident Evil 4 VR? – Полное руководство и разбивка [Электронный ресурс] URL: https://techtyche.net/how-many-chapters-are-in-resident-evil-4-vr/#:~:text=Resident%20Evil%204%20VR%20consists,secrets%20of%20the%20game’s%20plot. — Дата обращения: 23.05.2024.
6. Нейроинтерфейс MUSE [Электронный ресурс] URL: https://marinadoctor.ru/product/nejrointerfejs-muse/. — Дата обращения: 23.05.2024.