<div>
	Исследование движения человека в системах компьютерного зрения на основе скелетной модели</div>

Казакова Софья Алексеевна, Леонтьева Полина Андреевна, Фролова Мария Ильинична, Донецкая Юлия Валерьевна, Попов Илья Юрьевич, Кузнецов  Александр  Юрьевич

doi:10.17586/2226-1494-2021-21-4-571-577

2021 , ТОМ 21, НОМЕР 4 ( июль-август )

ISSN 2226-1494 (print), ISSN 2500-0373 (online)

Меню

Публикации

Главный редактор

НИКИФОРОВ
Владимир Олегович
д.т.н., профессор

Партнеры

doi: 10.17586/2226-1494-2021-21-4-571-577

УДК 004.942

Исследование движения человека в системах компьютерного зрения на основе скелетной модели

Казакова С.А., Леонтьева П.А., Фролова М.И., Донецкая Ю.В., Попов И.Ю., Кузнецов А.Ю.

Читать статью полностью

Язык статьи - русский

Ссылка для цитирования:

Казакова С.А., Леонтьева П.А., Фролова М.И., Донецкая Ю.В., Попов И.Ю., Кузнецов А.Ю. Исследование движения человека в системах компьютерного зрения на основе скелетной модели // Научно-технический вестник информационных технологий, механики и оптики. 2021. Т. 21, № 4. С. 571–577. doi: 10.17586/2226-1494-2021-21-4-571-577

Аннотация

Предмет исследования. Анализ движения человека в системах компьютерного зрения выполняется как в двухмерном, так и в трехмерном пространствах. Особенность анализа фигур в двухмерном пространстве состоит в применении изображения с одной камеры и/или множественных нательных датчиков. Подобный подход приводит к быстрому накоплению ошибки и, как следствие, низкой точности представления фигуры. В случае выполнения трехмерного анализа используются несколько камер, а фигуры представлены в виде совокупностей объемных элементов. Несмотря на высокую точность трехмерного анализа, он связан с большой вычислительной сложностью и нагрузкой на внутреннюю компьютерную сеть. Задача исследования состоит в разработке модели, с использованием изображения одной камеры. При этом поставлена задача достижения точности, приближенной к трехмерному анализу. Метод. В рассмотренной модели фигура человека представляется в виде скелета, описанного ациклическим связным графом. Выполнен анализ структуры человеческой фигуры и выделены пятнадцать основных точек. Исследовано и дано математическое описание физических и логических связей. Скоростные и пространственные характеристики точек и связей описывают общую динамику движения. Основные результаты. Представлено описание модели движения человека и приведен пример ее построения для конкретного изображения. На основе предложенной модели разработан алгоритм сбора и анализа информации о взаимных расположениях и скоростных характеристиках узлов и ребер графа. Практическая значимость. Разработанная модель может быть использована для сбора информации об эталонной (нормальной) динамике движения человека. В случае детектирования динамики, отклоняющейся от эталонной, поведение определяется как девиантное. Предложенный алгоритм может найти применение в системах компьютерного зрения для детектирования и анализа движения человека, а также выявления отклонений движений от эталонных.

Ключевые слова: компьютерное зрение, анализ движения человека, поведенческая аналитика, детектирование движения, скелетная модель

Благодарности. Работа выполнена в Университете ИТМО при финансовой поддержке Министерства науки и высшего образования Российской Федерации в рамках проекта 2019-0898 "Многоуровневое управление сложными техническими системами".

Список литературы

Valčık J. Similarity models for human motion data: Ph.D. Thesis. Brno: MasarykUniversity, 2016 [Электронный ресурс]. URL: https://is.muni.cz/th/wx926/thesis.pdf, свободный. Яз. англ. (дата обращения: 07.04.2021).
Rogez G., Weinzaepfel P., Schmid C. LCR-Net++: Multi-person 2D and 3D pose detection in natural images // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2020. V. 42. N 5. P. 1146–1161. https://doi.org/10.1109/TPAMI.2019.2892985
Ke Q., Bennamoun M., An S., Sohel F., Boussaid F. A new representation of skeleton sequences for 3D action recognition // Proc. 30^th IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2017. P. 4570–4579. https://doi.org/10.1109/CVPR.2017.486
Vox J.P., Wallhoff F. Preprocessing and normalization of 3D-skeleton-data for human motion recognition // Proc. IEEE Life Sciences Conference (LSC). Montreal, QC, Canada. 2018. P. 279–282. https://doi.org/10.1109/LSC.2018.8572153
Shin S., Halilaj E. Multi-view human pose and shape estimation using learnable volumetric aggregation // arXiv.org. 2020. arXiv:2011.13427.
Innmann M., Zollhofer M., Nießner M., Theobalt C., Stamminger M. Volumedeform: Real-time volumetric non-rigid reconstruction // Lecture Notes in Computer Science. 2016. V. 9912. P. 362–379. https://doi.org/10.1007/978-3-319-46484-8_22
Liu Y., Wang K., Li G., Lin L. Semantics-aware adaptive knowledge distillation for sensor-to-vision action recognition // IEEE Transactions on Image Processing. 2021. V. 30. P. 5573–5588. https://doi.org/10.1109/TIP.2021.3086590
Xiang D., Joo H., Sheikh Y. Monocular total capture: Posing face, body, and hands in the wild // Proc. of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2019. P. 10957–10966. https://doi.org/10.1109/CVPR.2019.01122
Tanke J., Gall J. Iterative greedy matching for 3D human pose tracking from multiple views // Lecture Notes in Computer Science. 2019. V. 11824. P. 537–550. https://doi.org/10.1007/978-3-030-33676-9_38
Elanattil S., Moghadam P. Synthetic data for non-rigid 3D reconstruction using a moving RGB-D camera // CSIRO, Data Collection. 2018. V. 2. https://doi.org/10.25919/5b7b60176d0cd
Wang Q. A Survey of visual analysis of human motion and its applications // arXiv.org. 2016. arXiv:1608.00700.
Aggarwal J., Cai Q. Human motion analysis: A Review // Computer Vision and Image Understanding. 1999. V. 73. N 3. P. 428–440. https://doi.org/10.1006/cviu.1998.0744
Kok M., Eckhoff K., Weygers I., Seel T. Observability of the relative motion from inertial data in kinematic chains // arXiv.org. 2021. arXiv:2102.02675.
Eriksson D., Harstrom J. Object detection by cluster analysis on 3D-points from a LiDAR sensor. Master’s thesis in Systems, Control and Mechatronics. Chalmers University of Technology, Sweden, 2019 [Электронный ресурс]. URL: https://odr.chalmers.se/bitstream/20.500.12380/257323/1/257323.pdf, свободный. Яз. англ. (дата обращения: 07.04.2021).
Егоров Ю.А. Исследование эффективности применения классических подходов для решения задачи классификации поз человека с использованием скелетной модели // Информационные технологии и системы: труды Седьмой Всероссийской научной конференции с международным участием. 2019. С. 148–151.
Катаев М.Ю., Катаева Н.Г., Коробко А.П., Шаймарданов Т.М. Методика построения фронтальной скелетной модели фигуры человека по изображениям//Доклады Томского государственного университета систем управления и радиоэлектроники.2017.Т. 20.№ 4.С. 109–112. https://doi.org/10.21293/1818-0442-2017-20-4-109-112
Ваганов С.Е. Алгоритм динамической сегментации пары последовательных кадров//Компьютерная оптика. 2019. Т. 43. № 1. С. 83–89. https://doi.org/10.18287/2412-6179-2019-43-1-83-89
Driggers R.G., Cox P.G., Kelley M. National imagery interpretation rating system and the probabilities of detection, recognition, and identification // Optical Engineering. 1997. V. 36. N 7. P. 1952–1959. https://doi.org/10.1117/1.601381

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License