Совместное распознавание акустических сцен и аудиособытий с помощью многозадачного обучения компактных моделей

Сурков М.К. Совместное распознавание акустических сцен и аудиособытий с помощью многозадачного обучения компактных моделей // Научно-технический вестник информационных технологий, механики и оптики. 2024. Т. 24, № 5. С. 758–769. doi: 10.17586/2226-1494-2024-24-5-758-769 

Введение. Задача распознавания метаинформации заключается в выявлении и извлечении данных различной природы (речь, шумы, акустическая сцена, акустические события, аномальные звуки) из входного аудиосигнала. Существуют подходы, способные обеспечить высокую точность распознавания метаинформации различной природы в аудиозаписях. Данные модели часто опираются на глубокие нейронные сети с числом обучаемых параметров более сотни миллионов. Как следствие, такие модели невозможно использовать в реальных коммерческих системах, так как они ограничены в вычислительных ресурсах. Это влияет на работу умных устройств, таких как мобильные телефоны, умные часы, колонки, системы «умный дом». Обычно к умным устройствам предъявляются серьезные требования по энергоэффективности, что влияет на применение тех или иных компонентов в составе таких продуктов. Тактовые частоты процессоров, объемы оперативной и дисковой памяти в таких устройствах сильно ограничены и не способны работать с нейросетевыми моделями с большим числом обучаемых параметров. Подобные ограничения требуют поиска возможных решений, которые бы позволили применять технологии распознавания метаинформации в коммерческих устройствах. Возможным решением могут стать так называемые компактные нейросетевые модели, которые за счет архитектуры и многозадачных алгоритмов обучения способны распознавать метаинформацию в аудиозаписях и используют ограниченное число обучаемых параметров. Коммерческий интерес к данной задаче согласуется и с заинтересованностью научного сообщества. Так, в рамках международного конкурса под названием «Detection and Classification of Acoustic Scenes and Events» организаторами были сформулированы специальные подзадачи — распознавание акустической сцены при использовании низкоресурсных систем («LowComplexity Acoustic Scene Classification») и детекции аудиособытий («Sound Event Detection with Weak Labels and Synthetic Soundscapes»). Важными исследовательскими вопросами являются как создание оптимальной архитектуры компактной нейронной сети, так и алгоритмов их обучения для получения низкоресурсной высокоточной системы распознавания акустических сцен и аудиособытий. Метод. Исследование выполнено на основе корпуса данных задач Challenge «Low-Complexity Acoustic Scene Classification» и «Sound Event Detection with Weak Labels and Synthetic Soundscapes». Предложена архитектура многозадачной нейронной сети, состоящая из общего кодировщика и двух независимых декодировщиков для каждой из двух задач. Рассмотрены классические алгоритмы многозадачного обучения SoftMTL и HardMTL, а также разработаны их модификации CrossMTL, которые опираются на идею переиспользования данных от одной задачи при обучении декодировщика решать вторую задачу, и FreezeMTL, в процессе которого обученные веса общего кодировшика замораживаются после обучения на первой задаче и используются для оптимизации второго декодировщика. Основные результаты. Показано, что применение модификации CrossMTL дает возможность существенно увеличить точность классификации акустических сцен и детекции аудиособытий по сравнению с классическими подходами SoftMTL и HardMTL. Алгоритм FreezeMTL позволяет получить модель, демонстрирующую точность классификации сцен в 42,44 % и детекции событий в 45,86 %, что сравнимо с показателями базовых решений задач 2023 года. Обсуждение. Предложена компактная нейронная сеть, состоящая из 633,5 тыс. обучаемых параметров, требующая 43,2 млн арифметических операций для обработки аудио длиной в одну секунду. Модель использует на 7,8 % меньше обучаемых параметров и на 40 % меньше арифметических операций по сравнению с наивным применением двух независимых моделей. Разработанную модель можно применить в умных устройствах за счет уменьшения числа обучаемых параметров и арифметических операций, необходимых для ее применения.

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License