Меню
Публикации
2026
2025
2024
2023
2022
2021
2020
2019
2018
2017
2016
2015
2014
2013
2012
2011
2010
2009
2008
2007
2006
2005
2004
2003
2002
2001
Главный редактор
НИКИФОРОВ
Владимир Олегович
д.т.н., профессор
Партнеры
doi: 10.17586/2226-1494-2026-26-5-1039-1048
УДК 004.932.2
Метод автоматического распознавания коммуникативных жестов участников виртуального взаимодействия
Читать статью полностью
Язык статьи - русский
Ссылка для цитирования:
Аннотация
Ссылка для цитирования:
Двойникова А.А., Карпов А.А. Метод автоматического распознавания коммуникативных жестов участников виртуального взаимодействия // Научно-технический вестник информационных технологий, механики и оптики. 2026. Т. 26, № 5. С. 1039–1048. doi: 10.17586/2226-1494-2026-26-5-1039-1048
Аннотация
Введение. Межличностное общение все чаще происходит в виртуальном формате с помощью систем телеконференций. Несмотря на преимущества такого формата, ограниченный размер видеоокна, нестабильность интернет-соединения и снижение качества передачи информации затрудняют восприятие невербальных сигналов участников коммуникации. В процессе межличностного взаимодействия коммуникативные жесты являются важным средством передачи эмоций и вовлеченности, а их автоматический анализ способен повысить точность систем распознавания поведенческих и психологических состояний участников виртуальной коммуникации. В работе предлагается иерархический двухуровневый метод распознавания коммуникативных жестов в условиях виртуальной коммуникации, позволяющий выполнять совместное распознавание статических и динамических жестов. Метод. Иерархия метода заключается в последовательном использовании моделей для распознавания типа жеста, а затем классификации статических и динамических жестов. На первом этапе выполняется определение типа жеста: статический, динамический или отсутствие жеста. На втором этапе используются специализированные модели для детального распознавания трех классов статических и трех классов динамических жестов. Для анализа видеоинформации исследуются различные типы признаков, включая ключевые точки тела, их производные геометрические признаки, оптический поток и признаки предобученной модели Vision Transformer (ViT). В качестве классификаторов рассматриваются полносвязные, сверточно-рекуррентные и трансформерные нейронные сети. Дополнительно исследуются методы повышения точности классификации при дисбалансе классов и малом объеме данных. Основные результаты. Экспериментальные исследования проводились на многомодальном корпусе данных ENERGI, содержащем данные групповой виртуальной коммуникации с аннотацией коммуникативных жестов. Установлено, что наилучшие результаты для распознавания статических жестов достигаются при использовании признаков ViT и сверточно-рекуррентной нейронной сети, где средняя F-мера составила 70,4 %. Для динамических жестов наилучшей оказалась комбинация производных геометрических признаков и полносвязной нейронной сети со средней F-мерой 58,1 %. Для определения типа жестов наиболее эффективным оказалось совместное использование признаков ViT и оптического потока, обеспечившее среднюю F-меру 76,5 %. Итоговая средняя F-мера распознавания 7 классов коммуникативных жестов составила 68,7 %, тогда как для одноуровнего метода — 20,8 %. Также показано, что применение методов компенсации дисбаланса классов позволяет дополнительно повысить качество классификации. Обсуждение. Полученные результаты показывают эффективность иерархического подхода по сравнению с одноуровневой классификацией благодаря разделению задачи на этапы определения типа жеста и последующего специализированного распознавания. Установлено, что различные типы признаков наиболее эффективны для разных категорий жестов: признаки ViT лучше описывают статические конфигурации позы, тогда как производные геометрические признаки более информативны для анализа движений. Предложенный метод может использоваться в интеллектуальных системах анализа поведения участников виртуальной коммуникации, включая задачи оценивания вовлеченности, эмоционального состояния и эффективности взаимодействия.
Ключевые слова: коммуникативные жесты, статические жесты, динамические жесты, иерархический метод, нейронные сети, дисбаланс классов
Благодарности. Работа выполнена в рамках бюджетной темы Санкт-Петербургского Федерального исследовательского центра РАН (№ FFZF-2025-0003).
Благодарности. Работа выполнена в рамках бюджетной темы Санкт-Петербургского Федерального исследовательского центра РАН (№ FFZF-2025-0003).

