<div>
	Использование антропометрических точек для внесения ограничений в синтез трехмерной модели тела человека с помощью SMPL</div>

Кугаевских Александр Владимирович, Большим Максим Антонович, Саттаров Ильдар Фагимович

doi:10.17586/2226-1494-2023-23-5-935-945

2023 , ТОМ 23, НОМЕР 5 ( сентябрь-октябрь )

ISSN 2226-1494 (print), ISSN 2500-0373 (online)

Меню

Публикации

Главный редактор

НИКИФОРОВ
Владимир Олегович
д.т.н., профессор

Партнеры

doi: 10.17586/2226-1494-2023-23-5-935-945

УДК 004.89

Использование антропометрических точек для внесения ограничений в синтез трехмерной модели тела человека с помощью SMPL

Кугаевских А.В., Большим М.А., Саттаров И.Ф.

Читать статью полностью

Язык статьи - русский

Ссылка для цитирования:

Кугаевских А.В., Большим М.А., Саттаров И.Ф. Использование антропометрических точек для внесения ограничений в синтез трехмерной модели тела человека с помощью SMPL // Научно-технический вестник информационных технологий, механики и оптики. 2023. Т. 23, № 5. С. 935–945. doi: 10.17586/2226-1494-2023-23-5-935-945

Аннотация

Введение. Генерация реалистичной трехмерной модели тела человека является очень трудоемкой задачей. Даже при наличии необходимых вычислительных ресурсов возникают ошибки генерации на фигурах людей, отличающихся от среднего телосложения. В работе предложен экспериментальный алгоритм считывания антропометрических данных с двух фотографий, сделанных в анфас и в профиль. Метод. Предлагаемое решение проблемы генерации с помощью выделения антропометрических точек предполагает задание ограничений модели Skinned Multi-Person Linear Model (SMPL). Для сегментации тела человека на основе эмпирических исследований применена модификация полносвязной сверточной нейронной сети Fully connected (FCN) ResNet101, обученная на наборе данных Common Objects in Context (COCO) Segmentation 2017. С ее помощью получена основа для детекции антропометрических точек на фотографии человека в анфас и в профиль. Погрешность в определении антропометрических точек составила от 2 до 5 % в зависимости от их расположения. Ограничения для модели рендеринга SMPL вычислены с использованием алгоритма Левенберга–Марквардта. Для его корректной работы предложена специальная функция стоимости, учитывающая особенности данной задачи. Основные результаты. Собранный авторами статьи набор данных (117 человек разного телосложения и роста) показал, что предложенный метод позволяет получить малую среднюю абсолютную ошибку (MAE = 0,0395 м) и высокий коэффициент детерминации (R² = 0,913). Обсуждение. Граф антропометрических точек задает более строгие условия генерации фигуры и любое отклонение от графа является следствием большой ошибки генерации. Предложенное решение позволило достаточно точно сгенерировать модель тела человека. При этом сохранены невысокие требования к вычислительным ресурсам и качеству первоначальных фотографий пользователей. Представленный подход может найти применение в онлайн-примерочных, что дает возможность восстановить фигуру всего по двум снимкам, а также точно воспроизвести особенности мужских и женских фигур.

Ключевые слова: генерация модели тела человека, SMPL, антропометрические точки, распознавание ключевых точек, трехмерная модель поверхности

Список литературы

Robinette K.M., Daanen H., Paquet E. The CAESAR project: a 3-D surface anthropometry survey // Proc. of the Second International Conference on 3-D Digital Imaging and Modeling (Cat. No. PR00062). 1999. P. 380–386. https://doi.org/10.1109/im.1999.805368
Hirshberg D.A., Loper M., Rachlin E., Black M.J. Coregistration: Simultaneous alignment and modeling of articulated 3D shape // Lecture Notes in Computer Science. 2012. V. 7577. P. 242–255. https://doi.org/10.1007/978-3-642-33783-3_18
Loper M., Mahmood N., Romero J., Pons-Moll G., Black M.J. SMPL: A skinned multi-person linear model // ACM Transactions on Graphics. 2015. V. 34. N 6. P. 1–16. https://doi.org/10.1145/2816795.2818013
Pearson K. LIII. On lines and planes of closest fit to systems of points in space // The London, Edinburgh, and Dublin Philosophical Magazine and Journal of Science. 1901. V. 2. N 11. P. 559–572. https://doi.org/10.1080/14786440109462720
Kanazawa A., Black M.J., Jacobs D.W., Malik J. End-to-end recovery of human shape and pose // Proc. of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2018. P. 7122–7131. https://doi.org/10.1109/cvpr.2018.00744
Lin T.Y., Maire M., Belongie S., Hays J., Perona P., Ramanan D., Dollár P., Zitnick C.L. Microsoft COCO: Common objects in context // Lecture Notes in Computer Science. 2014. V. 8693. P. 740–755. https://doi.org/10.1007/978-3-319-10602-1_48
He K., Zhang X., Ren S., Sun J. Identity mappings in deep residual networks // Lecture Notes in Computer Science.2016. V. 9908. P. 630–645. https://doi.org/10.1007/978-3-319-46493-0_38
Ionescu C., Papava D., Olaru V., Sminchisescu C. Human3.6M: Large scale datasets and predictive methods for 3D human sensing in natural environments // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2014. V. 36. N 7. P. 1325–1339. https://doi.org/10.1109/tpami.2013.248
Johnson S., Everingham M. Clustered pose and nonlinear appearance models for human pose estimation // Proc.of the British Machine Vision Conference. 2010. P. 12.1–12.11. https://doi.org/10.5244/c.24.12
Loper M., Mahmood N., Black M.J. MoSh: Motion and shape capture from sparse markers // ACM Transactions on Graphics. 2014. V. 33. N 6. P. 1–13. https://doi.org/10.1145/2661229.2661273
Andriluka M., Pishchulin L., Gehler P., Schiele B. 2D human pose estimation: New benchmark and state of the art analysis // Proc. of the IEEE Conference on Computer Vision and Pattern Recognition. 2014. P. 3686–3693. https://doi.org/10.1109/cvpr.2014.471
Mehta D., Sridhar S., Sotnychenko O., Rhodin H., Shafiei M., Seidel H.-P., Xu W., Casas D., Theobalt C. VNect: Real-time 3D human pose estimation with a single rgb camera // ACM Transactions on Graphics. 2017. V. 36. N 4. P. 1–14. https://doi.org/10.1145/3072959.3073596
Varol G., Ceylan D., Russell B., Yang J., Yumer E., Laptev I., Schmid C. BodyNet: Volumetric inference of 3D human body shapes // Lecture Notes in Computer Science. 2018. V. 11211. P. 20–38. https://doi.org/10.1007/978-3-030-01234-2_2
Chang A.X., Funkhouser T., Guibas L., Hanrahan P., Huang Q., Li Z., Savarese S., Savva M., Song S., Su H., Xiao J., Yi L., Yu F. ShapeNet: An information-rich 3D model repository // arXiv. 2015. arXiv:1512.03012. https://doi.org/10.48550/arXiv.1512.03012
Varol G., Romero J., Martin X., Mahmood N., Black M.J., Laptev I., Schmid C. Learning from synthetic humans // Proc. of the I IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2017. P. 109–117. https://doi.org/10.1109/cvpr.2017.492
Lassner C., Romero J., Kiefel M., Bogo F., Black M.J., Gehler P.V. Unite the people: Closing the loop between 3D and 2D human representations // Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2017. P. 6050–6059. https://doi.org/10.1109/cvpr.2017.500
Bogo F., Kanazawa A., Lassner C., Gehler P., Romero J., Black M.J. Keep it SMPL: Automatic estimation of 3D human pose and shape from a single image // Lecture Notes in Computer Science.2016. V. 9909. P. 561–578. https://doi.org/10.1007/978-3-319-46454-1_34
Pishchulin L., Insafutdinov E., Tang S., Andres B., Andriluka M., Gehler P., Schiele B. DeepCut: Joint subset partition and labeling for multi person pose estimation // Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2016. P. 4929–4937. https://doi.org/10.1109/cvpr.2016.533
Thiery J.M., Guy É., Boubekeur T. Sphere-meshes: Shape approximation using spherical quadric error metrics // ACM Transactions on Graphics. 2013. V. 32. N 6. P. 1–12. https://doi.org/10.1145/2508363.2508384
Long J., Shelhamer E., Darrell T. Fully convolutional networks for semantic segmentation // Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2015. P. 3431–3440. https://doi.org/10.1109/cvpr.2015.7298965
Ren S., He K., Girshick R., Sun J. Faster R-CNN: Towards real-time object detection with region proposal networks // Advances in Neural Information Processing Systems. 2015. V. 28. P. 91–99.
Ujević D., Rogale D., Drenovac M., Pezelj D., Hrastinski M., Narančić N.S., Mimica Ž., Hrženjak R. Croatian anthropometric system meeting the European Union // International Journal of Clothing Science and Technology. 2006. V. 18. N 3. P. 200–208. https://doi.org/10.1108/09556220610657961
Prasanth G.N.S. Golden Ratio in Human Anatomy: Master’s thesis. Chittur:Government College Chittur, 2012.

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License