Меню
Публикации
2024
2023
2022
2021
2020
2019
2018
2017
2016
2015
2014
2013
2012
2011
2010
2009
2008
2007
2006
2005
2004
2003
2002
2001
Главный редактор
НИКИФОРОВ
Владимир Олегович
д.т.н., профессор
Партнеры
doi: 10.17586/2226-1494-2022-22-1-120-126
УДК 004.021
Распознавание эмоционального состояния человека на основе сверточной нейронной сети
Читать статью полностью
Язык статьи - русский
Ссылка для цитирования:
Аннотация
Ссылка для цитирования:
Сома Г.М., Каднова А.М. Распознавание эмоционального состояния человека на основе сверточной нейронной сети // Научно-технический вестник информационных технологий, механики и оптики. 2022. Т. 22, № 1. С. 120–126. doi: 10.17586/2226-1494-2022-22-1-120-126
Аннотация
Предмет исследования. Предложено новое решение распознавания эмоционального состояния человека (радость, удивление, грусть, гнев, отвращение, страх и нейтральное состояние) по выражению лица. Наряду с традиционной вербальной коммуникацией эмоции играют значительную роль при определении истинных намерений для реализации коммуникативного акта в различных практических сферах деятельности. Существует большое количество моделей и алгоритмов распознавания эмоций человека по классам и их применения для сопровождения коммуникативного акта. Известные модели дают невысокую точность распознавания эмоциональных состояний. Методы. Для классификации выражений лиц построены два классификатора, реализованные в библиотеке Keras: ResNet50, MobileNet, и предложена новая архитектура классификатора сверточной нейронной сети. Обучение классификаторов осуществлено на наборе данных FER 2013. Основные результаты. Сравнение результатов работы выбранных классификаторов показало, что предложенная модель имеет наилучший результат по точности валидации (60,13 %) и размеру (15,49 МБ), при этом функция потерь составляет 0,079 для точности и 2,80 — для валидации. Практическая значимость. Результаты исследования могут быть использованы для распознавания признаков стресса и агрессивного поведения человека в системах обслуживания населения и в сферах, при наличии общения с большим количеством людей.
Ключевые слова: ResNet50, MobileNet, выражение лица, глубокая нейронная сеть, эмоция, классификация
Благодарности. Исследование выполнено за счет гранта Российского научного фонда (проект № 22-21-00604).
Список литературы
Благодарности. Исследование выполнено за счет гранта Российского научного фонда (проект № 22-21-00604).
Список литературы
1. Varma S., Shinde M., Chavan S.S. Analysis of PCA and LDA features for facial expression recognition using SVM and HMM classifiers // Techno-Societal 2018: Proc. of the 2nd International Conference on Advanced Technologies for Societal Applications. V. 1. 2020. P. 109–119. https://doi.org/10.1007/978-3-030-16848-3_11
2. Рюмина Е.В., Карпов А.А. Аналитический обзор методов распознавания эмоций по выражениям лица человека // Научно-технический вестник информационных технологий, механики и оптики. 2020. Т. 20. № 2. С. 163–176. https://doi.org/10.17586/2226–1494-2020-20-2-163-176
3. Ахметшин Р.И., Кирпичников А.П., Шлеймович М.П. Распознавание эмоций человека на изображениях // Вестник технологического университета. 2015. Т. 18. № 11. С. 160–163.
4. Эрман Е.А., Мамдух Мохаммед Гомаа Мохаммед. Метод обнаружения лиц на изображении с использованием комбинации метода Виолы-Джонса и алгоритмов определения цвета кожи // Вестник Астраханского государственного технического университета. Серия: Управление, вычислительная техника и информатика. 2015. № 1. С. 49–55.
5. Мухамадиева К.Б. Сравнительный анализ алгоритмов распознавания лиц // Современные материалы, техника и технологии. 2017. № 7(15). С. 58–62.
6. Амелькин С.А., Захаров А.В., Хачумов В.М. Обобщенное расстояние Евклида Махаланобиса и его свойства // Информационные технологии и вычислительные системы. 2006. № 4. С. 40–44.
7. Karamizadeh S., Abdullah S.M., Manaf A.A., Zamani M., Hooman A. An overview of principal component analysis // Journal of Signal and Information Processing. 2013. V. 4. P. 173–175. https://doi.org/10.4236/jsip.2013.43B031
8. Dino H.I., Abdulrazzaq M.B. Facial expression classification based on SVM, KNN and MLP classifiers // Proc. of the International Conference on Advanced Science and Engineering (ICOASE 2019). 2019. P. 70–75. https://doi.org/10.1109/ICOASE.2019.8723728
9. Greche L., Es-Sbai N., Lavendelis E. Histogram of oriented gradient and multi layer feed forward neural network for facial expression identification // Proc. of the International Conference on Control, Automation and Diagnosis (ICCAD 2017). 2017. P. 333–337. https://doi.org/10.1109/CADIAG.2017.8075680
10. Greche L., Akil M., Kachouri R., Es-Sbai N. A new pipeline for the recognition of universal expressions of multiple faces in a video sequence // Journal of Real-Time Image Processing. 2020. V. 17. N 5. P. 1389–1402. https://doi.org/10.1007/s11554-019-00896-5
11. Kulke L., Brümmer L., Pooresmaeili A., Schacht A. Overt and covert attention shifts to emotional faces: Combining EEG, eye tracking, and a go/no-go paradigm // Psychophysiology. 2021. V. 58. N 8. P. e13838. https://doi.org/10.1111/psyp.13838
12. Aleksic P.S., Katsaggelos A.K. Automatic facial expression recognition using facial animation parameters and multistream HMMs // IEEE Transactions on Information Forensics and Security. 2006. V. 1. N 1. P. 3–11. https://doi.org/10.1109/TIFS.2005.863510
13. Gardner M.W., Dorling S.R. Artificial neural networks (the multilayer perceptron) – a review of applications in the atmospheric sciences // Atmospheric Environment. 1998. V. 32. N 14-15. P. 2627–2636. https://doi.org/10.1016/S1352-2310(97)00447-0
14. Cao H., Cooper D.G., Keutmann M.K., Gur R.C., Nenkova A., Verma R. CREMA-D: Crowd-sourced emotional multimodal actors dataset // IEEE Transactions on Affective Computing. 2014. V. 5. N 4. P. 377–390. https://doi.org/10.1109/TAFFC.2014.2336244
15. Challenges in Representation Learning Facial Expression Recognition Challenge [Электронный ресурс]. URL: https://www.kaggle.com/c/challenges-in-representation-learning-facial-expression-recognition-challenge (дата обращения: 13.11.2021).
