<div>
	Оптимизация систем отслеживания человека в виртуальной реальности на основе нейросетевого подхода</div>

Обухов Артём Дмитриевич, Теселкин Даниил Вячеславович

doi:10.17586/2226-1494-2023-23-4-786-794

2023 , ТОМ 23, НОМЕР 4 ( июль-август )

ISSN 2226-1494 (print), ISSN 2500-0373 (online)

Меню

Публикации

Главный редактор

НИКИФОРОВ
Владимир Олегович
д.т.н., профессор

Партнеры

doi: 10.17586/2226-1494-2023-23-4-786-794

УДК 004.9

Оптимизация систем отслеживания человека в виртуальной реальности на основе нейросетевого подхода

Обухов А.Д., Теселкин Д.В.

Читать статью полностью

Язык статьи - русский

Ссылка для цитирования:

Обухов А.Д., Теселкин Д.В. Оптимизация систем отслеживания человека в виртуальной реальности на основе нейросетевого подхода // Научно-технический вестник информационных технологий, механики и оптики. 2023. Т. 23, № 4. С. 786–794. doi: 10.17586/2226-1494-2023-23-4-786-794

Аннотация

Введение. Рассмотрена проблема определения оптимального количества и расположения точек отслеживания на теле человека для обеспечения необходимой точности реконструкции кинематических параметров движений человека в виртуальном пространстве. Выполнена оптимизация системы отслеживания человека в виртуальной реальности для снижения объема передаваемой информации, вычислительной нагрузки и стоимости систем захвата движений за счет снижения количества физических датчиков. Метод. Поставлена задача оптимизации количества и расположения точек отслеживания на теле человека, необходимых для реконструкции виртуальной модели тела из ограниченного набора входных точек, с использованием численной аппроксимации функции регрессии. Разработан алгоритм сбора большого количества данных с модели тела человека в виртуальной сцене и с костюма захвата движений в реальном мире. Основные результаты. Получено наименьшее количество точек отслеживания тела человека и их расположение с использованием предложенного алгоритма. Обучены и протестированы различные топологии нейронных сетей, позволяющие аппроксимировать регрессионную зависимость между ограниченным по размеру вектором точек отслеживания (от 3 до 13) и вектором 18 виртуальных точек, используемых для полной реконструкции модели тела человека. Необходимая точность реконструкции кинематических параметров движений человека обеспечено при 5 и 7 входных точках. Обсуждение. Предложенный подход позволил использовать 5 или 7 физических датчиков для построения модели тела человека и восстановления кинетических параметров его движений в виртуальной реальности. Подход может быть применен при решении задач инверсной кинематики с целью снижения количества физических датчиков, размещенных на поверхности исследуемого объекта, для упрощения процессов обработки и передачи информации. За счет объединения данных как с костюма захвата движений, так и с виртуального аватара значительно ускорен процесс сбора информации, расширен объем обучающей выборки и смоделированы различные паттерны движений тел пользователей.

Ключевые слова: виртуальная реальность, отслеживание движений человека, инверсная кинематика, оптимизация систем отслеживания и захвата движений, цифровое представление человека

Благодарности. Исследование выполнено за счет гранта Российского научного фонда (№ 22-71-10057, https://rscf.ru/ project/22-71-10057/).

Список литературы

Obukhov A.D., Volkov A.A., Vekhteva N.A., Teselkin D.V., Arkhipov A.E. Human motion capture algorithm for creating digital shadows of the movement process // Journal of Physics: Conference Series. 2022. V. 2388. N 1. P. 012033. https://doi.org/10.1088/1742-6596/2388/1/012033
Azarby S., Rice A. Understanding the effects of virtual reality system usage on spatial perception: The potential impacts of immersive virtual reality on spatial design decisions // Sustainability. 2022. V. 14. N 16. P. 10326. https://doi.org/10.3390/su141610326
Parger M., Mueller J.H., Schmalstieg D., Steinberger M. Human upper-body inverse kinematics for increased embodiment in consumer-grade virtual reality // Proc. of the 24^th ACM Symposium on Virtual Reality Software and Technology. 2018. P. 1–10. https://doi.org/10.1145/3281505.3281529
Caserman P., Garcia-Agundez A., Konrad R., Göbel S., Steinmetz R. Real-time body tracking in virtual reality using a Vive tracker // Virtual Reality. 2019. V. 23. N 2. P. 155–168. https://doi.org/10.1007/s10055-018-0374-z
Feigl T., Gruner L., Mutschler C., Roth D. Real-time gait reconstruction for virtual reality using a single sensor // Proc. of the 2020 IEEE International Symposium on Mixed and Augmented Reality Adjunct (ISMAR-Adjunct). 2020. P. 84–89. https://doi.org/10.1109/ismar-adjunct51615.2020.00037
Liu H., Zhang Z., Xie X., Zhu Y., Liu Y., Wang Y., Zhu S.-C. High-fidelity grasping in virtual reality using a glove-based system // Proc. of the 2019 International Conference on Robotics and Automation (ICRA). 2019. P. 5180–5186. https://doi.org/10.1109/icra.2019.8794230
Liu R., Liu C. Human motion prediction using adaptable recurrent neural networks and inverse kinematics // IEEE Control Systems Letters. 2021. V. 5. N 5. P. 1651–1656. https://doi.org/10.1109/lcsys.2020.3042609
Li J., Xu C., Chen Z., Bian S., Yang L., Lu C. Hybrik: A hybrid analytical-neural inverse kinematics solution for 3D human pose and shape estimation // Proc. of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2021. P. 3383–3392. https://doi.org/10.1109/cvpr46437.2021.00339
Oyama E., Agah A., MacDorman K.F., Maeda T., Tachi S. A modular neural network architecture for inverse kinematics model learning // Neurocomputing. 2001. V. 38-40. P. 797–805. https://doi.org/10.1016/s0925-2312(01)00416-7
Bai Y., Luo M., Pang F. An algorithm for solving robot inverse kinematics based on FOA optimized BP neural network // Applied Sciences. 2021. V. 11. N 15. P. 7129. https://doi.org/10.3390/app11157129
Kratzer P., Toussaint M., Mainprice J. Prediction of human full-body movements with motion optimization and recurrent neural networks // Proc. of the 2020 IEEE International Conference on Robotics and Automation (ICRA). 2020. P. 1792–1798. https://doi.org/10.1109/icra40945.2020.9197290
Bataineh M., Timothy M., Karim A.-M., Jasbir A. Neural network for dynamic human motion prediction // Expert Systems with Applications. 2016. V. 48. P. 26–34. https://doi.org/10.1016/j.eswa.2015.11.020
Kucherenko T., Beskow J., Kjellström H. A neural network approach to missing marker reconstruction in human motion capture // arXiv. 2018. arXiv:1803.02665. https://doi.org/10.48550/arXiv.1803.02665
Geigel J., Schweppe M. Motion capture for realtime control of virtual actors in live, distributed, theatrical performances // Proc. of the 2011 IEEE International Conference on Automatic Face & Gesture Recognition (FG). 2011. P. 774–779. https://doi.org/10.1109/FG.2011.5771347
Degen R., Tauber A., Nüßgen A., Irmer M., Klein F., Schyr C., Leijon M., Ruschitzka M. Methodical approach to integrate human movement diversity in real-time into a virtual test field for highly automated vehicle systems // Journal of Transportation Technologies. 2022. V. 12. N 3. P. 296–309. https://doi.org/10.4236/jtts.2022.123018
Sers R., Forrester S., Moss E., Ward S., Ma J., Zecca M. Validity of the Perception Neuron inertial motion capture system for upper body motion analysis // Measurement. 2020. V. 149. P. 107024. https://doi.org/10.1016/j.measurement.2019.107024

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License