doi: 10.17586/2226-1494-2026-26-5-1039-1048


УДК 004.932.2

Метод автоматического распознавания коммуникативных жестов участников виртуального взаимодействия

Двойникова А.А., Карпов А.А.


Читать статью полностью 
Язык статьи - русский

Ссылка для цитирования:
Двойникова А.А., Карпов А.А. Метод автоматического распознавания коммуникативных жестов участников виртуального взаимодействия // Научно-технический вестник информационных технологий, механики и оптики. 2026. Т. 26, № 5. С. 1039–1048. doi: 10.17586/2226-1494-2026-26-5-1039-1048


Аннотация
Введение. Межличностное общение все чаще происходит в виртуальном формате с помощью систем телеконференций. Несмотря на преимущества такого формата, ограниченный размер видеоокна, нестабильность интернет-соединения и снижение качества передачи информации затрудняют восприятие невербальных сигналов участников коммуникации. В процессе межличностного взаимодействия коммуникативные жесты являются важным средством передачи эмоций и вовлеченности, а их автоматический анализ способен повысить точность систем распознавания поведенческих и психологических состояний участников виртуальной коммуникации. В работе предлагается иерархический двухуровневый метод распознавания коммуникативных жестов в условиях виртуальной коммуникации, позволяющий выполнять совместное распознавание статических и динамических жестов. Метод. Иерархия метода заключается в последовательном использовании моделей для распознавания типа жеста, а затем классификации статических и динамических жестов. На первом этапе выполняется определение типа жеста: статический, динамический или отсутствие жеста. На втором этапе используются специализированные модели для детального распознавания трех классов статических и трех классов динамических жестов. Для анализа видеоинформации исследуются различные типы признаков, включая ключевые точки тела, их производные геометрические признаки, оптический поток и признаки предобученной модели Vision Transformer (ViT). В качестве классификаторов рассматриваются полносвязные, сверточно-рекуррентные и трансформерные нейронные сети. Дополнительно исследуются методы повышения точности классификации при дисбалансе классов и малом объеме данных. Основные результаты. Экспериментальные исследования проводились на многомодальном корпусе данных ENERGI, содержащем данные групповой виртуальной коммуникации с аннотацией коммуникативных жестов. Установлено, что наилучшие результаты для распознавания статических жестов достигаются при использовании признаков ViT и сверточно-рекуррентной нейронной сети, где средняя F-мера составила 70,4 %. Для динамических жестов наилучшей оказалась комбинация производных геометрических признаков и полносвязной нейронной сети со средней F-мерой 58,1 %. Для определения типа жестов наиболее эффективным оказалось совместное использование признаков ViT и оптического потока, обеспечившее среднюю F-меру 76,5 %. Итоговая средняя F-мера распознавания 7 классов коммуникативных жестов составила 68,7 %, тогда как для одноуровнего метода — 20,8 %. Также показано, что применение методов компенсации дисбаланса классов позволяет дополнительно повысить качество классификации. Обсуждение. Полученные результаты показывают эффективность иерархического подхода по сравнению с одноуровневой классификацией благодаря разделению задачи на этапы определения типа жеста и последующего специализированного распознавания. Установлено, что различные типы признаков наиболее эффективны для разных категорий жестов: признаки ViT лучше описывают статические конфигурации позы, тогда как производные геометрические признаки более информативны для анализа движений. Предложенный метод может использоваться в интеллектуальных системах анализа поведения участников виртуальной коммуникации, включая задачи оценивания вовлеченности, эмоционального состояния и эффективности взаимодействия.

Ключевые слова: коммуникативные жесты, статические жесты, динамические жесты, иерархический метод, нейронные сети, дисбаланс классов

Благодарности. Работа выполнена в рамках бюджетной темы Санкт-Петербургского Федерального исследовательского центра РАН (№ FFZF-2025-0003).

Creative Commons License

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License
Информация 2001-2026 ©
Научно-технический вестник информационных технологий, механики и оптики.

Яндекс.Метрика