Классификация двигательной активности человека на основе анализа мультисенсорных данных

Обухов А.Д. Классификация двигательной активности человека на основе анализа мультисенсорных данных // Научно-технический вестник информационных технологий, механики и оптики. 2025. Т. 25, № 5. С. 833–843. doi: 10.17586/2226-1494-2025-25-5-833-843

Введение. Выполнен анализ мультисенсорных данных, полученных от электромиографа, инерциальных измерительных устройств, системы компьютерного зрения и трекеров виртуальной реальности, для решения задачи классификации двигательной активности человека. Актуальность решения данной задачи обусловлена необходимостью анализа и распознавания двигательной активности человека при использовании различных программно-аппаратных комплексов, например, реабилитационных и тренажерных систем. Для оптимального решения задачи распознавания типа движений рук с наибольшей точностью оценивается вклад каждого источника сигналов, а также выполняется сравнение различных моделей машинного обучения. Метод. Подход к обработке мультисенсорных данных включает синхронизированный сбор потоков от различных источников, разметку исходных данных, фильтрацию сигналов; двойное выравнивание временных рядов по частоте и длительности с аппроксимацией до общей константы, формирование общего набора данных, обучение и выбор модели машинного обучения для распознавания двигательной активности рук. Рассматриваются девять моделей машинного обучения: логистическая регрессия, k-ближайших соседей, наивный байесовский классификатор, дерево решений и ансамбли на их основе (случайный лес, AdaBoost, Extreme Gradient Boosting, Voting и Stacking Classifier). Разработанный подход синхронизации, фильтрации и двойного выравнивания потоков данных позволяет сформировать унифицированный набор данных мультисенсорных данных для обучения моделей. Основные результаты. Проведен эксперимент по классификации девяти категорий движений рук на основе анализа мультисенсорных данных (собрано 629 записей от 15 участников). Обучение выполнялось на 80 % собранных данных с пятикратной перекрестной проверкой. Показано, что ансамбль AdaBoost обеспечивает точность классификации 98,8 % на наборе данных из объединенных от четырех различных источников информации. В ходе абляционного анализа для сравнения источников данных, наибольшее влияние на итоговую точность классификации оказывает информация от трекеров виртуальной реальности (до 98,73 ± 1,78 % точности на модели AdaBoost), данные о мышечной активности от электромиографа являются наименее информативными. Определено, что высокая точность классификации двигательной активности может быть получена с использованием инерциальных измерительных устройств. Обсуждение. Исследование формализует воспроизводимый подход к обработке мультисенсорных данных и позволяет объективно сравнить вклад различных источников информации и моделей машинного обучения при решении задачи классификации двигательной активности рук пользователя в рамках реабилитационных и виртуальных тренажерных систем. Показано, что при ограничениях по ресурсам возможно отказаться от части источников данных без существенной потери точности классификации, упростив аппаратную конфигурацию систем отслеживания, перейти от закрытых коммерческих систем (трекеров виртуальной реальности) к более доступным и компактным инерциальным измерительным устройствам.

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License