Меню
Публикации
2026
2025
2024
2023
2022
2021
2020
2019
2018
2017
2016
2015
2014
2013
2012
2011
2010
2009
2008
2007
2006
2005
2004
2003
2002
2001
Главный редактор
НИКИФОРОВ
Владимир Олегович
д.т.н., профессор
Партнеры
doi: 10.17586/2226-1494-2026-26-4-826-834
УДК 004.522
Система распознавания карельской речи с переключением кода карельский-русский
Читать статью полностью
Язык статьи - русский
Ссылка для цитирования:
Аннотация
Ссылка для цитирования:
Кипяткова И.С., Долгушин М.Д., Киселева К.О., Кагиров И.А. Система распознавания карельской речи с переключением кода карельский-русский // Научно-технический вестник информационных технологий, механики и оптики. 2026. Т. 26, № 4. С. 826–834. doi: 10.17586/2226-1494-2026-26-4-826-834
Аннотация
Введение. Представлена система автоматического распознавания устной речи для ливвиковского наречия карельского языка в условиях переключения кодов между карельским и русским языками. Выполнено исследование методов автоматического распознавания билингвальной речи. С целью повышения точности распознавания разработана методика аугментации текстовых данных, включающая в себя частичный перевод и синтез словоформ с внутрисловным переключением кода. Метод. Применено акустическое моделирование путем дообучения предобученной многоязычной модели Wav2Vec2-BERT 2.0 на материале двух предварительно собранных баз данных общим объемом 7,5 ч. Дообучение осуществлялось с использованием фреймворка Transformers. При построении языковой модели для решения проблемы нехватки текстовых данных с переключением кода был применен метод аугментации, основанный на частичном автоматическом переводе карельских текстов на русский язык с последующей генерацией словоформ с внутрисловным переключением кода по лингвистическим правилам. На основе разработанных правил сгенерирован список слов с внутрисловным переключением кода для использования при создании модели языка. В ходе экспериментов сравнивались различные конфигурации языковой модели, различающиеся количеством итераций текстовой аугментации (от 1 до 5), содержанием словаря (базовый и включающий все сгенерированные формы), а также интерполяцией с русской языковой моделью. Основные результаты. Проведенные эксперименты показали, что использование полного словаря, включающего сгенерированные гибридные словоформы, дает устойчивое улучшение результатов. Дополнительное снижение количества неправильно распознанных слов до 25,82 % на отладочной и 29 % на тестовой частях базы данных было достигнуто при линейной интерполяции карельской языковой модели с русской (коэффициент интерполяции 0,7). Обсуждение. Выполненные эксперименты подтверждают эффективность разработанной методики создания системы распознавания билингвальной речи. В частности, рекомендуется комбинировать дообучение многоязычных акустических моделей, текстовую аугментацию с морфологическими правилами и интерполяцию языковых моделей. Предложенный подход может быть применен для создания систем распознавания речи для других малоресурсных языков России в условиях несбалансированного двуязычия.
Ключевые слова: автоматическое распознавание речи, переключение кодов, карельский язык, малоресурсные языки, аугментация данных, внутрисловное переключение кода, Wav2Vec2-BERT 2.0, языковое моделирование
Благодарности. Работа выполнена при финансовой поддержке Российского научного фонда, проект № 24-21-00276, https://rscf. ru/project/24-21-00276/.
Список литературы
Благодарности. Работа выполнена при финансовой поддержке Российского научного фонда, проект № 24-21-00276, https://rscf. ru/project/24-21-00276/.
Список литературы
1. Mabokela K.R., Manamela M.J., Manaileng M. Modeling code-switching speech on under-resourced languages for language identification // Proc. of the 4th Workshop on Spoken Language Technologies for Under Resourced Languages (SLTU). 2014. P. 225-230.
2. Bhuvanagirir K., Kopparapu S.K. Mixed language speech recognition without explicit identification of language // American Journal of Signal Processing. 2012. V. 2. N 5. P. 92-97. doi: 10.5923/j.ajsp.20120205.02
3. Agro M.T., Kulkarni A.A., Kadaoui K., Talat Z., Aldarmaki H. Code-switching in End-to-End automatic speech recognition: A systematic literature review // arXiv. 2025.arXiv:2507.07741. doi: 10.48550/arXiv.2507.07741
4. Hsieh I.-T., Wu C.-H., Wang C.-H. Acoustic and textual data augmentation for code-switching speech recognition in under-resourced language // Proc. of the Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC). 2020. P. 302–307.
5. Hamed I., Habash N., Abdennadher S., Vu N.T. Investigating lexical replacements for Arabic-English code-switched data augmentation // Proc. of the 6th Workshop on Technologies for Machine Translation of Low-Resource Languages (LoResMT). 2023. P. 86–100. doi: 10.18653/v1/2023.loresmt-1.7
6. Hussein A., Chowdhury S.A., Abdelali A., Dehak N., Ali A., Khudanpur S. Textual data augmentation for Arabic-English code-switching speech recognition // Proc. of the IEEE Spoken Language Technology Workshop (SLT). 2023. P. 777–784. doi: 10.1109/SLT54892.2023.10023313
7. Pratapa A., Bhat G., Choudhury M., Sitaram S., Dandapat S., Bali K. Language modeling for code-mixing: The role of linguistic theory based synthetic data // Proc. of the 56th Annual Meeting of the Association for Computational Linguistics. 2018. V. 1. P. 1543–1553. doi: 10.18653/v1/P18-1143
8. Chuang S.-P., Sung T.-W., Lee H.-Y. Training code-switching language model with monolingual data // Proc. of the IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). 2020. P. 7949–7953. doi: 10.1109/ICASSP40776.2020.9053775
9. Yilmaz E., van Den Heuvel H., van Leeuwen D.A. Acoustic and textual data augmentation for improved ASR of code-switching speech // Proc. of the 19th Annual Conference of the International Speech Communication Association Interspeech. 2018. P. 1933–1937. doi: 10.21437/Interspeech.2018-52
10. Chang C.-T., Chuang S.-P., Lee H.-Y. Code-switching sentence generation by generative adversarial networks and its application to data augmentation // Proc. of the 20th Annual Conference of the International Speech Communication Association Interspeech. 2019. P. 554–558. doi: 10.21437/Interspeech.2019-3214
11. Şahin G.G. To augment or not to augment? A comparative study on text augmentation techniques for low-resource NLP // Computational Linguistics. 2022. V. 48. N 1. P. 5–42. doi: 10.1162/coli_a_00425
12. Wan Z., Wan X., Peng W., Li R. New datasets and controllable iterative data augmentation method for code-switching ASR error correction // Findings of the Association for Computational Linguistics: EMNLP. 2023. P. 8075–8087. doi: 10.18653/v1/2023.findings-emnlp.543
13. Kobayashi S. Contextual augmentation: Data augmentation by words with paradigmatic relations // Proc. of the Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. 2018. V. 2. P. 452–457. doi: 10.18653/v1/N18-2072
14. Hamed I., DenisovP., Li C.-Y., ElmahdyM., Abdennadher S, Vu N.T. Investigations on speech recognition systems for low-resource dialectal Arabic–English code-switching speech // Computer Speech & Language. 2022. V. 72. P. 101278. doi: 10.1016/j.csl.2021.101278
15. Ubskii D., Matveev Y., Minker W. Impact of using a bilingual model on Kazakh-Russian code-switching speech recognition // CEUR Workshop Proceedings. 2020. V. 2590. P. 1-6.
16. Карпов А.А., Кипяткова И.С. Методология оценивания работы систем автоматического распознавания речи // Известия высших учебных заведений. Приборостроение. 2012. T. 55. № 11.С. 38–43.
17. Arkhangelskiy T. Low-resource ASR with an augmented language model // Proc. of the 7th International Workshop on Computational Linguistics of Uralic Languages. 2021. P. 40–46.
18. Wolf T., Debut L., Sanh V., Chaumond J., Delangue C., Moi A., et al. Transformers: State-of-the-art natural language processing // Proc. of the Conference on Empirical Methods in Natural Language Processing: System Demonstrations. 2020. P. 38–45. doi: 10.18653/v1/2020.emnlp-demos.6
19. Кипяткова И.С., Кагиров И.А., Долгушин М.Д. Применение предварительно обученных многоязычных моделей для распознавания карельской речи // Информатика и автоматизация. 2025. Т. 24. № 2. С. 604–630. doi: 10.15622/ia.24.2.9
20. Кагиров И.А., Киселева К.О., Кипяткова И.С. Анализ переключения кодов в речи носителей карельского языка // TerraLinguistica. 2025. Т. 16. № 2. С. 22–40. doi: 10.18721/JHSS.16202
21. Kipyatkova I., Kiseleva K., Dolgushin M., Kagirov I. Modeling intra-word code-switching for Karelian ASR // Lecture Notes in Computer Science. 2025. V. 16188. P. 104–117. doi: 10.1007/978-3-032-07959-6_8
22. Kipyatkova I. Experimenting with hybrid TDNN/HMM acoustic models for Russian speech recognition // Lecture Notes in Computer Science. 2017. V. 10458. P. 362–369. doi: 10.1007/978-3-319-66429-3_35
23. Кипяткова И.С., Родионова А.П., Кагиров И.А., Крижановский А.А. Подготовка речевых и текстовых данных для создания системы автоматического распознавания карельской речи // Ученые записки Петрозаводского государственного университета. 2023. Т. 45. № 5. С. 89–98. doi: 10.15393/uchz.art.2023.924
24. Kipyatkova I., Karpov A. Lexicon size and language model order optimization for Russian LVCSR // Lecture Notes in Computer Science. 2013. V. 8113. P. 219–226. doi: 10.1007/978-3-319-01931-4_29
25. Boyko T., Zaitseva N., Krizhanovskaya N., Krizhanovsky A., Novak I., Pellinen N., et al. The open corpus of the Veps and Karelian languages: Overview and applications // KnE Social Sciences. 2022. P. 29–40. doi: 10.18502/kss.v7i3.10419
26. Stolcke A., Zheng J., Wang W., Abrash V. SRILM at sixteen: update and outlook // Proc. of the IEEE Automatic Speech Recognition and Understanding Workshop. 2011. P. 5–9.
