<div>
	RuPersonaChat: корпус диалогов для персонификации разговорных агентов</div>

Апанасович Кирилл Сергеевич , Махныткина Олеся Владимировна, Кабаров Владимир Иосифович, Далевская Ольга Петровна

doi:10.17586/2226-1494-2024-24-2-214-221

2024 , ТОМ 24, НОМЕР 2 ( март-апрель )

ISSN 2226-1494 (print), ISSN 2500-0373 (online)

Меню

Публикации

Главный редактор

НИКИФОРОВ
Владимир Олегович
д.т.н., профессор

Партнеры

doi: 10.17586/2226-1494-2024-24-2-214-221

УДК 004.89

RuPersonaChat: корпус диалогов для персонификации разговорных агентов

Апанасович К.С., Махныткина О.В., Кабаров В.И., Далевская О.П.

Читать статью полностью

Язык статьи - русский

Ссылка для цитирования:

Апанасович К.С., Махныткина О.В., Кабаров В.И., Далевская О.П. RuPersonaChat: корпус диалогов для персонификации разговорных агентов // Научно-технический вестник информационных технологий, механики и оптики. 2024. Т. 24, № 2. С. 214–221. doi: 10.17586/2226-1494-2024-24-2-214-221

Аннотация

Введение. Одним из способов повышения качества разговорных агентов является персонификация. Персонификация улучшает качество взаимодействия пользователя с разговорным агентом и повышает удовлетворенность пользователей за счет повышения консистентности и специфичности ответов. Диалог с агентом становится более последовательным, минимизируется противоречивость ответов, которые оказываются более конкретными и интересными. Для обучения и тестирования персонифицированных разговорных агентов требуются специфичные наборы данных, содержащие факты о персоне и тексты диалогов персон, в репликах которых используются факты о персонах. Существует несколько наборов на английском и китайском языках, содержащие в описании персоны в среднем пять фактов. Диалоги в наборах данных составлены пользователями краудсорсинга, которые многократно имитировали различные персоны. Метод. В данной работе предложена методика сбора оригинального корпуса данных, содержащего расширенный набор фактов о персоне и естественные диалоги между персонами. Новый корпус данных RuPersonaChat основан на трех различных сценариях записи: интервью, короткая беседа, длинная беседа. Впервые собран корпус данных для персонификации разговорных агентов, включающий естественные диалоги и расширенное описание персоны. Предложена дополнительная разметка набора данных, которая ставит в соответствие реплики персоны и факты о персоне, на основе которых она была сформулирована. Основные результаты. Разработана методика сбора оригинального корпуса тестовых данных, позволяющего осуществлять тестирование языковых моделей для решения большего количества задач в рамках разработки персонифицированного разговорного агента. Собранный набор данных включает 139 диалогов и 2608 реплик. Корпус использован для тестирования моделей генерации ответов и вопросов. Наилучшие результаты получены с использованием модели Gpt3-large (перплексия равна 15,7). Обсуждение. Собранный корпус данных RuPersonaChat может быть использован для тестирования персонифицированных разговорных агентов на возможность рассказать о себе собеседнику, ведения диалога с собеседником и использования фактической речи, учета длинного контекста при ведении диалога с пользователем.

Ключевые слова: методика сбора данных, диалоговые данные, разговорные агенты, персонификация, генерация вопросов и ответов

Благодарности. Исследование выполнено за счет гранта Российского научного фонда (№ 22-11-00128, https://www.rscf.ru/ project/22-11-00128/).

Список литературы

Posokhov P., Apanasovich K., Matveeva A., Makhnytkina O., Matveev A. Personalizing dialogue agents for Russian: retrieve and refine // Proc. of the 31st Conference of Open Innovations Association (FRUCT). 2022. P. 245–252. https://doi.org/10.23919/fruct54823.2022.9770895
Matveev Y., Makhnytkina O., Posokhov P., Matveev A., Skrylnikov S. Personalizing hybrid-based dialogue agents // Mathematics. 2022. V. 10. N 24. P. 4657. https://doi.org/10.3390/math10244657
Zhang S., Dinan E., Urbanek J., Szlam A., Kiela D., Weston J. Personalizing Dialogue Agents: I have a dog, do you have pets too? // Proc. of the 56th Annual Meeting of the Association for Computational Linguistics. V. 1. 2018. P. 2204–2213. https://doi.org/10.18653/v1/p18-1205
Dinan E., Logacheva V., Malykh V., Miller A., Shuster K., Urbanek J., Kiela D., Szlam A., Serban I., Lowe R., Prabhumoye S., Black A.W., Rudnicky A., Williams J., Pineau J., Burtsev M., Weston J. The second conversational intelligence challenge (ConvAI2) // The NeurIPS'18 Competition. Springer, Cham, 2020. P. 187–208. https://doi.org/10.1007/978-3-030-29135-8_7
Rashkin H., Smith E.M., Li M., Boureau Y-L. Towards empathetic open-domain conversation models: A new benchmark and dataset // Proc. of the 57th Annual Meeting of the Association for Computational Linguistics. 2019. P. 5370–5381. https://doi.org/10.18653/v1/p19-1534
Smith E.M., Williamson M., Shuster K., Weston J., Boureau Y-L. Can you put it all together: evaluating conversational agents’ ability to blend skills // Proc. of the 58th Annual Meeting of the Association for Computational Linguistics. 2020. P. 2021–2030. https://doi.org/10.18653/v1/2020.acl-main.183
Xu J., Szlam A., Weston J. Beyond goldfish memory: Long-term open-domain conversation // Proc. of the 60th Annual Meeting of the Association for Computational Linguistics. V. 1. 2022. P. 5180–5197. https://doi.org/10.18653/v1/2022.acl-long.356
Xu X., Gou Z., Wu W., Niu Z-Y., Wu H., Wang H., Wang S. Long time no see! open-domain conversation with long-term persona memory // Findings of the Association for Computational Linguistics: ACL 2022. 2022. P. 2639–2650. https://doi.org/10.18653/v1/2022.findings-acl.207
Kuchaiev O., Li J., Nguyen H., Hrinchuk O., Leary R., Ginsburg B., Kriman S., Beliaev S., Lavrukhin V., Cook J., Castonguay P., Popova M., Huang J., Cohen J.M. NeMo: A toolkit for building ai applications using neural modules // arXiv. 2019. arXiv:1909.09577. https://doi.org/10.48550/arXiv.1909.09577
Gulati A., Qin J., Chiu C.-C., Parmar N., Zhang Y., Yu J., Han W., Wang S., Zhang Z., Wu Y., Pang R. Conformer: Convolution-augmented transformer for speech recognition // Proc. of the Interspeech 2020. P. 5036–5040. https://doi.org/10.21437/interspeech.2020-3015
Vaswani A., Shazeer N., Parmar N., Uszkoreit J., Jones L., Gomez A.N., Kaiser Ł., Polosukhin I. Attention is all you need // Advances in Neural Information Processing Systems. 2017. V. 30.
Raffel C., Shazeer N., Roberts A., Lee K., Narang S., Matena M., Zhou Y., Li W., Liu P.J. Exploring the limits of transfer learning with a unified text-to-text transformer // Journal of Machine Learning Research. 2020. V. 21. P. 140.
Brown T., Mann B., Ryder N., Subbiah M., Kaplan J.D., Dhariwal P., Neelakantan A., Shyam P., Sastry G., Askell A., Agarwal S., Herbert-Voss A., Krueger G., Henighan T., Child R., Ramesh A., Ziegler D., Wu J., Winter C., Hesse C., Chen M., Sigler E., Litwin M., Gray S., Chess B., Clark J., Berner C., McCandlish S., Radford A., Sutskever I., Amodei D. Language models are few-shot learners // Advances in Neural Information Processing Systems. 2020. V. 33. P. 1877–1901.
Jelinek F., Mercer R.L., Bahl L.R., Baker J.K. Perplexity – a measure of the difficulty of speech recognition tasks // The Journal of the Acoustical Society of America. 1977. V. 62. N S1. P. S63–S63. https://doi.org/10.1121/1.2016299
Papineni K., Roukos S., Ward T., Zhu W.-J. BLEU: a method for automatic evaluation of machine translation // Proc. of the 40th Annual Meeting on Association for Computational Linguistics. 2002. P. 311–318. https://doi.org/10.3115/1073083.1073135

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License