Меню
Публикации
2024
2023
2022
2021
2020
2019
2018
2017
2016
2015
2014
2013
2012
2011
2010
2009
2008
2007
2006
2005
2004
2003
2002
2001
Главный редактор
НИКИФОРОВ
Владимир Олегович
д.т.н., профессор
Партнеры
doi: 10.17586/2226-1494-2022-22-6-1159-1165
УДК 004.9
Применение волновой модели текста к задаче сентимент-анализа
Читать статью полностью
Язык статьи - русский
Ссылка для цитирования:
Аннотация
Ссылка для цитирования:
Груздева А.С., Юрьев Р.Н., Бессмертный И.А. Применение волновой модели текста к задаче сентимент-анализа // Научно-технический вестник информационных технологий, механики и оптики. 2022. Т. 22, № 6. С. 1159–1165. doi: 10.17586/2226-1494-2022-22-6-1159-1165
Аннотация
Предмет исследования. Исследована волновая модель представления коротких текстов на русском языке. Модель является одной из реализаций дистрибутивной семантики. В модели учтены не только частоты встречаемости слов в тексте, но и их взаимное влияние. Итогом реализации модели служит повышение точности анализа тональности коротких текстов. Метод. Основу определения взаимосвязей между текстом и термином составляет расчет амплитуды вероятности близости текста к термину с использованием волновой модели. Термин, обладающий наибольшей амплитудой вероятности, считается наиболее точно соответствующим смыслу текста. Волновая модель позволяет учесть тот факт, что известные методы определяют антонимы как семантически близкие лексические единицы. Основные результаты. Для экспериментального исследования предложенного метода выбрано решение задачи сентимент-анализа, то есть нахождения соответствия отзывов пользователей о покупках на маркетплейсе классам «позитивный» и «негативный». В результате эксперимента получена точность оценки тональности текста до 76,4 %, что превышает точность классического подхода, а также известных методик сентимент-анализа для русского языка. Выявлено значительное влияние таких параметров модели, как выбор базисной дистрибутивно-семантической модели, выбор контрольной точки для расчета волновых чисел, учет влияния антонимов на точность классификации. Представленная модель показала высокую точность в выявлении взаимосвязей текста с не присутствующими в нем явно понятиями. Практическая значимость. Предложенный метод может успешно применяться как математическая основа решения задач сентимент-анализа. Полученные результаты показали потенциальные возможности использования волновой модели в областях, требующих классификации текстов по косвенным признакам, например, для определения элементов психологического портрета автора.
Ключевые слова: сентимент-анализ, классификация, обработка естественного языка, волновая модель, квантово-подобная модель
Благодарности. Работа выполнена в рамках магистерско-аспирантской НИР № 620164 «Методы искусственного интеллекта для киберфизических систем».
Список литературы
Благодарности. Работа выполнена в рамках магистерско-аспирантской НИР № 620164 «Методы искусственного интеллекта для киберфизических систем».
Список литературы
-
Garg N., Sharma K. Text pre-processing of multilingual for sentiment analysis based on social network data// International Journal of Electrical and Computer Engineering. 2022. V. 12. N 1.P. 776–784. https://doi.org/10.11591/ijece.v12i1.pp776-784
-
Корней А.О.,Крючкова Е.Н. Проблемы эффективности сентимент-анализа русскоязычных текстов в социальных сетях // Высокопроизводительные вычислительные системы и технологии. 2018. Т. 2. № 2. С. 87–92.
-
Пазельская А.Г., Соловьев А.Н. Метод определения эмоций в текстах на русском языке // Тезисы докладов Международной конференции по компьютерной лингвистике и интеллектуальным технологиям «Диалог 2011». М.: РГГУ, 2011. С. 510–522.
-
Клековкина М.В., Котельников Е.В. Метод автоматической классификации текстов по тональности, основанный на словаре эмоциональной лексики // Электронные библиотеки: перспективные методы и технологии, электронные коллекции: материалы XIV Всероссийской научной конференции (RCDL-2012). 2012. С. 118–123.
-
Бессмертный И.А., Джалиашвили З.О., Максимов В.В., Маркин Д.А. Лингвооценочное управление текстом // Тезисы докладов X Международной конференции «Применение новых технологий в образовании». Троицк: Фонд новых технологий в образовании «Байтик», 1999.
-
Harris Z. Mathematical Structures of Language. Wiley, 1968. 230 p.
-
Богданов А.Л., Дуля И.С. Сентимент-анализ коротких русскоязычных текстов в социальных медиа // Вестник Томского государственного университета. Экономика. 2019. № 47. С. 220–241. https://doi.org/10.17223/19988648/47/17
-
РябыкинА.С., СуховЕ.А. Нейросетевые методы в задаче сентимент-анализа//DSPA. 2022. Т. 2. № 2. С. 41–57.
-
Воробьев А.А., Рыбак А.М., Середкин Р.А., Андросов А.Ю., Соловьев Б.И.Методика сбора ио бработки социологической информаци ииз сети Интернет//Известия Тульского государственного университета. Технические науки. 2022. № 2. С. 208–213
-
Фомина И.К., Татаурова А.С. Повышение эффективности модели классификации определения тональности текста // Актуальные проблемы экономики иу правления. 2022. № 1. С. 55–58.
-
Zuccon G., Azzopardi L., van Rijsbergen K. The quantum probability ranking principle for information retrieval // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 2009. V. 5766. P. 232–240. https://doi.org/10.1007/978-3-642-04417-5_21
-
Melucci M. Introduction to Information Retrieval and Quantum Mechanics. Springer-Verlag Berlin Heidelberg, 2015. 247 р. https://doi.org/10.1007/978-3-662-48313-8
-
Хренников А.Ю. Введение в квантовую теорию информации. М.: Физматлит, 2008. 283 с.
-
Blacoe W., Kashefi E., Lapata M. A quantum-theoretic approach to distributional semantics // Proc. of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL HLT). 2013. P. 847–857.
-
Jaiswal A.K., Holdack G., Frommholz I., Liu H. Quantum-like Generalization of Complex Word Embedding: a lightweight approach for textual classification // CEUR Workshop Proceedings. 2018. V. 2191. P. 159–168.
-
Surov I.A., Semenenko E., Platonov A.V.,Bessmertny I.A.,Galofaro F.,Toffano Z.,Khrennikov A.Yu., Alodjants A.P.Quantum semantics of text perception// Scientific Reports. 2021. V. 11. N 1. P. 4193. https://doi.org/10.1038/s41598-021-83490-9
-
Груздева А.С., Бессмертный И.А. Классификация коротких текстов с использованием волновой модели // Научно-технический вестник информационных технологий, механики и оптики. 2022. Т. 22. № 2. С. 287–293. https://doi.org/10.17586/2226-1494-2022-22-2-287-293
-
Френкель Я.И. Волновая механика.Ч. 1.Элементарная теория. Квантовая физика. М.,2019. 386 с.
-
Kutuzov A., Kuzmenko E. Webvectors: A toolkit for building web interfaces for vector semantic models // Communications in Computer and Information Science. 2017. V. 661. P. 155–161. https://doi.org/10.1007/978-3-319-52920-2_15
-
Panchenko A., Ustalov D., Arefyev N., Paperno D., Konstantinova N., Loukachevitch N., Biemann C. Human and machine judgements about russian semantic relatedness // Communications in Computer and Information Science. 2016. V. 661. P. 221–235. https://doi.org/10.1007/978-3-319-52920-2_21
-
Pang B., Lee L. A sentimental education: Sentiment analysis using subjectivity summarization based on minimum cuts // Proc. of the 42nd Annual Meeting Association for Computational Linguistics (ACL). 2004. P. 271–278. https://doi.org/10.3115/1218955.1218990
-
Меньшиков И.Л. Анализ тональности текста на русском языке при помощи графовых моделей // Доклады всероссийской научной конференции АИСТʼ2013 "Анализ Изображений, Сетей и Текстов". Екатеринбург, 2013. C. 151-155.
-
González F.A., Caicedo J.C. Quantum latent semantic analysis // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 2011. V. 6931. P. 52–63. https://doi.org/10.1007/978-3-642-23318-0_7
-
Dalla Chiara M.L., Giuntini R., Luciani A.R., Negri E. A quantum-like semantic analysis of ambiguity in music // Soft Computing. 2017. V. 21. N 6. P. 1473–1481. https://doi.org/10.1007/s00500-015-1895-y