Термин «жизнестойкость человека» описывает возможность человека преодолевать стрессы различной природы возникновения для поддержания высокого уровня психического и физического здоровья. Также в понятие жизнестойкости входит субъективная удовлетворенность своей жизнью [Вербина].
Существуют различные факторы, влияющие на субъективную удовлетворенность жизнью. Одним из них является состояние здоровья и его выраженные дефекты. Так, например, люди с рассеянным склерозом, болезнью Паркинсона и перенесшие инсульт обладают разного рода двигательными нарушениями, что сказывается на качестве жизни.
Предлагается разработать цифрового ассистента для людей с двигательными нарушениями с применением технологии виртуальной реальности. Цифровой ассистент позволит выполнять физические упражнения в отсутствии дополнительного спортивного инвентаря, оценивать параметры движения человека, предоставлять отчет о параметрах его движения. Разрабатываемое решение рассчитано на использование не только в медицинских организациях, но и в бытовых условиях.
Для разработки предложенного цифрового ассистента необходимо подобрать оборудование виртуальной реальности и его комплектующие для сбора подробной информации о движении человека. Предметом исследования является оборудование виртуальной реальности, позволяющее точно отслеживать движение человека в ключевых точках тела. Объект исследования – системы виртуальной реальности, их комплектующие, перчатки и костюмы.
Целью данного исследования является систематизация и подбор потенциально полезного оборудования виртуальной реальности для использования в задачах ассистирования человеку с двигательными нарушениями. Для выполнения поставленной цели были выделены следующие задачи:
- подобрать систему виртуальной реальности, позволяющую точно собирать данные о перемещении всех его частей с минимальными потерями;
- подобрать комплектующие для крепления на тело человека с целью организации получения большего количества параметров движения.
В данной работе выполнен обзор оборудования виртуальной реальности и совместимых комплектующих для крепления на тело человека применительно к задачам ассистирования человеку с двигательными нарушениями. В завершении обзора должно быть подобрано оборудование, отвечающее следующим требованиям: возможность сбора данных о перемещении, доступность к приобретению, низкая стоимость, невысокий уровень дискомфорта при использовании, применимость к разработке ПО уровня MVP для проверки гипотезы возможности применения VR к ассистированию человеку с двигательными нарушениями.
Оборудование виртуальной реальности (VR-оборудование) можно разделить на автономное и проводное. Первая категория функционирует самостоятельно, без необходимости внешнего подключения к каким-либо другим устройствам (например, Oculus Quest, HTC Vive Cosmos и др.). Вторая категория для обеспечения работоспособности и выполнения своих функциональных возможностей требует подключение к персональному компьютеру (ПК) или консолям (например, HTC Vive, Valve Index, Oculus Rift).
Помимо разницы в необходимости внешнего подключения автономные и проводные системы виртуальной реальности отличаются системой трекинга. Система трекинга автономного VR-оборудования построена на использовании 4-х камер, размещенных в корпусе гарнитуры. Таким образом, если человек заведет, например, контроллер за спину, где встроенные камеры не могут отследить оборудование, информация о его местоположении будет потеряна.
В свою очередь, проводное VR-оборудование требует подключения внешних лазерных базовых станций. В результате проводной VR предоставляет наиболее точную информацию о перемещении своих компонент.
В связи с вышеперечисленными причинами для разработки цифрового ассистента была выбрана проводная система виртуальной реальности Valve Index. В ее комплектацию входят гарнитура, 2 контроллера и 2 базовые станции (количество может быть увеличено до 4-х). Для обеспечения трекинга высокой точности базовые станции размещаются по диагонали, тем самым покрывая всю игровую зону. Valve Index функционирует при подключении к платформе Steam VR.
Вспомогательное оборудование (комплектующие) для отслеживания движения человека можно разделить на костюмы, перчатки и иное оборудование. Костюмы могут быть полноразмерными, т. е. надеваться на все тело, и на отдельные его части.
В таблице 1 приведено вспомогательное оборудование, его описание и полезность в использовании для цифрового ассистента.
Таблица 1
Вспомогательное оборудование виртуальной реальности для отслеживания движения человека
| Название | Описание | Польза для цифрового ассистента |
| Костюм Teslasuit [Бетоева] | Полноразмерный костюм виртуальной реальности, обладающий тактильной обратной связью по всему телу. Он использует электростимуляцию мышц и нервов для обеспечения имитации набора близких к реальности ощущений. Для захвата движений используются 14 датчиков IMU для отслеживания, записи и мониторинга движений человека. Каждый такой датчик состоит из акселерометра, гироскопа и магнитометра. Входящая в состав биометрическая система предоставляет информацию о частоте сердечных сокращений в минуту и вариабельности частоты пульса. Спектральный диапазон чувствительности составляет 455-955 нм при 200 кадрах в секунду. Стоимость костюма составляет 12999 долларов США. | Полезное свойство костюма заключается в возможности детального отслеживания движения человека в пространстве виртуальной реальности и получения дополнительных параметров о здоровье человека без использования дополнительного оборудования. Таким образом, могут быть оценены численные параметры движения человека и обеспечено точное восстановление движения человека в пространстве виртуальной реальности. Костюм позволяет передавать не только тактильные ощущения от соприкосновения с объектами в виртуальном пространстве, но и температурные режимы. Данное свойство может быть полезно в реабилитации. Существенным недостатком в данном случае является высокая стоимость оборудования и ограниченность применения одного комплекта для людей с разными параметрами тела (телосложение, рост, вес). |
| Костюм OptiTrack1 | Полноразмерный костюм для захвата движений, включающий штаны, куртку, шапку, бахилы, перчатки. Костюм позволяет собирать подробную информацию о движении человека и обладает обширным размерным рядом. В базовую комплектацию входят шапка, куртка и штаны. Стоимость костюма в минимальной комплектации составляет 325 долларов США. | Полезное свойство костюма заключается в возможности отслеживания движения человека в пространстве виртуальной реальности. Он не позволяет выполнять сбор дополнительной информации о здоровье человека и передавать тактильные ощущения из виртуального пространства в реальность. Эти свойства будут полезны в численной оценке параметров движения человека, точного восстановления движения человека в виртуальном пространстве и выполнении реабилитационных мероприятий. Оборудование может быть использовано отдельно от VR с помощью программного обеспечения (ПО) производителя. |
| Костюм Perception Neuron 3 [Романова] | Компрессионный костюм, состоящий из рубашки, лосин, головной повязки, ремней для рук и ног. Скорость сбора информации составляет до 240 кадров в секунду. Инерционная система включает в себя 18 датчиков тела, трансивер, зарядный чехол, адаптер питания и ремешки для тела. Стоимость костюма без дополнительных элементов в виде перчаток и трансивера составляет 350 долларов США. | Костюм позволяет получать информацию о движении человека в процессе его ношения. Он не обеспечивает тактильную чувствительность и может быть использован отдельно от VR с помощью ПО производителя. Таким образом, польза костюма заключается в возможности оценки численных параметров движения и точного восстановления движения человека в пространстве виртуальной реальности. |
| Костюм Smartsuit Pro II [Романова] | Костюм позволяет фиксировать движение человека и передавать его параметры по сети Wi-Fi в режиме реального времени в любое приложение, которым пользуется пользователь при наличии интеграции разработчика с ним. Поддерживается захват анимации тела, пальцев и лица. В комплект костюма могут быть включены или куплены отдельно перчатки, легко интегрируемые с VR. Стоимость костюма составляет 1995 долларов США. | Полезное свойство костюма заключается в возможности сбора информации о движении человека и ее передачи в режиме реального времени в доступное приложение пользователя. |
| Перчатки CaptoGlove2 | Перчатка, используемая для отслеживания движения руки и управления жестами в VR. Работает как естественный контроллер, чем обеспечивает более полное погружение в VR. | Перчатка совместима с оборудованием HTC Vive и позволит предоставить подробную информацию о движении руки вплоть до движения пальцев.
Недостатком является возможность отслеживания движения только одной руки. |
| Перчатки Senso Glove DK3 [Овчинников] | Перчатки-контроллеры представляют собой автономные контроллеры с 6-ю степенями свободы. 8 IMU-датчиков обеспечивают быструю обратную связь. Передача тактильных ощущений обеспечивается 6-ю компактными вибромоторами, которые расположены на каждом пальце. Задержка в передаче ощущений составляет 10 мс, а скорость считывания данных составляет 150 кадров в секунду. | Перчатки совместимы с оборудованием HTC Vive и позволяют предоставить подробную информацию о движении обеих рук человека и передать тактильные ощущения от соприкосновения с объектами виртуального пространства.
Таким образом, перчатки могут быть полезны в оценке численных параметров и восстановлении движения кисти человека и реабилитации двигательных нарушений верхних конечностей. |
| Перчатки Noitom Hi5 2.03 | Перчатки позволяют отслеживать движение кисти вплоть до отдельных пальцев. Скорость отслеживания составляет 90 кадров в секунду. В состав перчаток входят 9-осевые IMU-датчики, покрывающих поверхность ладони. Совместимы с HTC Vive. | Перчатки обеспечивают точный захват движения кисти человека вплоть до пальцев. Позволяют передавать человеку виброотклик при соприкосновении с объектами виртуальной реальности. Перчатки могут быть полезны в отслеживании и реабилитации движения кисти человека. |
| Перчатки-контроллеры Manus Quantum Metaglove4 | Перчатки обеспечивают самую высокую точность отслеживания движения кисти и пальцев среди своих конкурентов, позволяя отслеживать движение кончиков пальцев. Работают как в интеграции с VR-оборудованием, так и без него. Во втором случае требуется только ПО производителя. Задержка сигнала составляет менее 7.5 мс, частота дискретизации датчика – 120 Гц, беспроводной диапазон – до 15 м, беспроводная связь – Bluetooth 5.0. | Перчатки могут быть полезны для отслеживания развития двигательных нарушений на ранней стадии или на стадии поздней диагностики, когда нарушения уже не так сильно заметны при стороннем наблюдении. |
| Трекер лица VIVE Facial Tracker [Малинова] | Трекер лица позволяет отслеживать до 38 движений лица с минимальной задержкой. Оборудование совместимо с HTC VIVE Focus 3. | Оборудование может быть потенциально полезно в реабилитации мимических нарушений (нарушений управления мышцами лица). |
| Жилет виртуальной реальности Hardlight Suit5 | Жилет обеспечивает отслеживание торса человека и передачу тактильных ощущений от столкновений с объектами виртуального пространства. Оборудование включает 16 модулей слежения, обеспечивающих хорошую обратную связь. Оборудование совместимо с HTC Vive. | Костюм позволяет локализовать область отслеживания движения человека до торса. Оборудование может быть полезно в реабилитации. Существенный минус заключается в возможности использования оборудования под конкретными играми. |
| VIVE Tracker 3.0 [Wenk] | VIVE Tracker 3.0 представляет собой компактное устройство, оснащенное акселерометром и гироскопом. Оно крепится на любой объект от части тела человека до дополнительных объектов (например, теннисная ракетка). Оборудование обладает низкой стоимостью и совместимо с HTC Vive. | VR-трекеры свободно крепятся к любой части тела человека, что позволяет обеспечить отслеживание любых точек человеческого тела и настроить свободную схему отслеживания движения человека. |
На основе полученных материалов, представленных в таблице 1, предлагается классифицировать оборудование по 2 признакам: 1 – наличие тактильной обратной связи, 2 – объем набора отслеживаемых движений. По наличию тактильной обратной связи оборудование можно разделить на оборудование с обратной связью и без нее. Тактильная обратная связь может быть вибрационной, электростимуляционной или температурной. Первая передает силу (давление), вторая стимулирует мышцы и нервы, третья передает температуру.
По объему набора отслеживаемых движений оборудование можно разделить на покрывающее все тело (костюмы), часть тела (жилеты, перчатки) или атомарный участок тела (VR-трекеры, трекеры лица). Оба классификатора могут быть использованы наравне. Так, например, костюм Teslasuit покрывает все тело человека, что обеспечивает захват наибольшего количества типов движений человека, и передает ощущения с помощью электростимуляции мышц и нервов.
Оборудование, приведенное в обзоре, в общем виде можно структурировать на основе следующих технических параметров: количество датчиков, позволяющих отследить перемещение точки тела, количество модулей, позволяющих передать тактильные ощущения, возможность получения дополнительной информации о здоровье (например, ЧСС, вариабельность ЧСС), размерный ряд, скорость сбора информации о движении, возможность совместного использования дополнительного оборудования, задержка при передаче тактильных ощущений, детализация отслеживания тела или части тела, работа по беспроводной связи, совместимость с VR-оборудованием, возможность работы без использования VR-оборудования.
Полезными свойствами для задач ассистирования можно выделить оценку численных параметров и точное восстановление движения человека в пространстве виртуальной реальности, получение и аккумулирование дополнительной информации о здоровье человека в момент использования оборудования, передачу тактильных ощущений. Перечисленные признаки полезны врачу-специалисту не только для диагностики нарушений движения и оценки здоровья в момент использования цифрового ассистента, но и для реабилитации нарушенных функций человека.
К возможным недостаткам оборудования можно отнести высокую стоимость, в ряде случаев ограниченность применения при разных антропометрических параметрах и области отслеживания на теле человека, неудобство использования, использование с конкретным ПО, отслеживание одной конечности.
Для разработки цифрового ассистента, на котором будет осуществлена проверка гипотезы возможности ассистирования человеку с двигательными нарушениями, выбираемое оборудование должно быть атомарным и может не обладать тактильной обратной связью. Помимо названного, оно должно иметь возможность работы совместно с системой виртуальной реальности Valve Index. Такой выбор сделан в силу наличия таких ограничивающих факторов, как стоимость, избыточность, неудобство использования и др.
Оборудование, перечисленное в таблице 1, в большинстве своем может быть использовано с системой виртуальной реальности Valve Index, однако оно обладает высокой стоимостью или предназначено для других целей (отслеживание эмоций, движения кисти рук и др.). Поэтому для разработки совместно с использованием системы Valve Index было выбрано оборудование VIVE Tracker 3.0, т. к. оно позволяет сформировать индивидуальную схему сбора информации о походке человека и практически не накладывает ограничений в мобильности человека.
* * * * *
По результатам выполнения обзора был сформирован перечень из 11 объектов оборудования, позволяющего выполнять сбор информации о движении человека, совместимого с использованием системы Valve Index. Проанализированы возможности оборудования, вошедшего в обзор, предложена классификация на основе признаков: наличие тактильной обратной связи, объем набора отслеживаемых движений. Сформулированы полезные свойства для применения к задачам ассистирования и набор технических параметров, на которые стоит обратить внимание при подборе оборудования.
Для разработки цифрового ассистента среди полученного перечня было выбрано оборудование VIVE Tracker 3.0, позволяющее самостоятельно выбрать схему крепления на тело человека и ключевые точки для сбора и оценки численных параметров движения. Такой выбор обусловлен доступностью оборудования, низкой стоимостью и применимостью к разработке ПО уровня MVP для проверки гипотезы возможности применения VR к ассистированию человеку с двигательными нарушениями.
Примечания
1 Motion Capture Suit // OptiTrack: [сайт]. URL: https://optitrack.com/accessories/wear (дата обращения 07.11.2023).
2 Virtual Reality // Captoglove: [сайт]. URL: https://www.captoglove.com/virtual-reality-applications-of-captoglove (дата обращения 07.11.2023).
3 Патент № 2734659 C1 Российская Федерация, МПК G09B 9/52. Тренажёрный комплекс для подготовки экипажей космических кораблей к действиям после посадки пилотируемой капсулы на море с волнением: № 2020113984: заявл. 03.04.2020: опубл. 21.10.2020 / В.Е. Шукшунов, И.В. Шукшунов, Н.Н. Конюхов, др.; заявитель – Общество с ограниченной ответственностью "Центр тренажеростроения и подготовки персонала".
4 XSENS METAGLOVES By MANUS // Manus: [сайт]. URL: https://www.manus-meta.com/products/xsens-metagloves (дата обращения 07.11.2023).
5 Жилет виртуальной реальности Hardlight Suit // Интернет-магазин гаджетов будущего: [сайт]. URL: https://www.gadgilla.com/collection/kostyumy-vr/product/zhilet-virtualnoy-realnosti-hardlight-suit (дата обращения 07.11.2023).
Список литературы
Бетоева Е.А. Эргодизайн цифровой VR среды // Заметки ученого. 2022. № 10. С. 20-26.
Вербина Г.Г. Жизнестойкость человека как личностный ресурс достижения высокого уровня физического и психического здоровья [Электронный ресурс] // Клиническая и медицинская психология: исследования, обучение, практика: электрон. науч. журн. 2017. Т. 5, № 4(18). URL: http://medpsy.ru/climp (дата обращения 07.11.2023).
Малинова А.Г. Анализ возможностей устройства HTC VIVE Facial Tracker / А.Г. Малинова, Л.С. Лисицына // XI Конгресс молодых учёных: Сб. научных трудов, Санкт-Петербург, 04–08 апреля 2022 года. Санкт-Петербург: Национальный исследовательский университет ИТМО, 2022. С. 258-261.
Овчинников Д.Л. Контроллер-перчатка для взаимодействия со средой виртуальной реальности // Тинчуринские чтения – 2023 «Энергетика и цифровая трансформация»: Материалы Международной молодежной научной конференции. В 3-х тт. Казань, 26–28 апреля 2023 г. Казань: Казанский государственный энергетический университет, 2023. Т. 1. С. 529-532.
Романова Е.В. Возможности технологий виртуальной реальности для разработки игровых приложений / Е.В. Романова, Л.В. Курзаева, Л.З. Давлеткиреева, Т.Б. Новикова // Открытое образование. 2021. Т. 25, № 5. С. 31-40. DOI 10.21686/1818-4243-2021-5-31-40.
Wenk N. Naturalistic visualization of reaching movements using head-mounted displays improves movement quality compared to conventional computer screens and proves high usability / N. Wenk, K.A. Buetler, J. Penalver-Andres, et al. // Journal of NeuroEngineering and Rehabilitation. 2022. Vol. 19, No. 1. P. 1-23. DOI 10.1186/s12984-022-01101-8.