СРАВНИТЕЛЬНЫЙ АНАЛИЗ МЕТОДОВ УСТРАНЕНИЯ ДИСБАЛАНСА КЛАССОВ ЭМОЦИЙ В ВИДЕОДАННЫХ ВЫРАЖЕНИЙ ЛИЦ

Рюмина Е.В., Карпов А.А. Сравнительный анализ методов устранения дисбаланса классов эмоций в видеоданных выражений лиц // Научно-технический вестник информационных технологий, механики и оптики. 2020. Т. 20.

№ 5. С. 683–691. doi: 10.17586/2226-1494-2020-20-5-683-691

Предмет исследования. Несбалансированность классов в наборах данных негативно влияет на системы машинной классификации, применяемые в таких приложениях искусственного интеллекта как медицинская диагностика заболеваний, обнаружение обмана и управление рисками. Эта проблема в наборах данных выражений лиц также ухудшает эффективность алгоритмов классификации. Метод. Рассмотрены основные подходы для уменьшения дисбаланса классов: методы повторной выборки и установление весов классам в зависимости от количества наблюдаемых образцов для каждого класса. Для локализации области лица в потоке кадров использован метод гистограммы направленных градиентов, и применена активная модель формы, которая обнаруживает координаты 68 ключевых ориентиров лица. C помощью координат ключевых ориентиров извлекаются информативные признаки, характеризующие динамику выражений лиц. Основные результаты. Результаты исследования показали, что предложенный подход извлечения визуальных признаков повышает точность распознавания эмоций по выражениям лиц. Рассмотренные методы уменьшения дисбаланса классов в наборе данных выражений лиц позволили повысить эффективность машинного классификатора, а также показали, что имеющийся дисбаланс классов в обучающем наборе оказывает значительное влияние на точность. Практическая значимость. Предложенный подход извлечения визуальных признаков может быть использован в автоматических системах распознавания эмоций человека по выражениям лиц, а анализ результатов применения методов уменьшения дисбаланса классов данных может быть полезен исследователям в области машинного обучения.

1. Pandey S.K., Janghel R.R. Automatic detection of arrhythmia from imbalanced ECG database using CNN model with SMOTE // Australasian Physical & Engineering Sciences in Medicine. 2019. V. 42. N 4. P. 1129–1139. doi: 10.1007/s13246-019-00815-9

2. Han W., Huang Z., Li S., Jia Y. Distribution-sensitive unbalanced data oversampling method for medical diagnosis // Journal of Medical Systems. 2019. V. 43. N 2. P. 39. doi: 10.1007/s10916-018-1154-8

3. Ahammad J., Hossain N., Alam M.S. Credit card fraud detection using data pre-processing on imbalanced data - Both oversampling and undersampling // Proc. of the International Conference on Computing Advancements. 2020. doi: 10.1145/3377049.3377113

4. Velichko A., Karpov A. A study of data scarcity problem for automatic detection of deceptive speech utterances // CEUR Workshop Proceedings. 2020. V. 2552. P. 38–46.

5. Sun J., Lang J., Fujita H., Li H. Imbalanced enterprise credit evaluation with DTE-SBD: Decision tree ensemble based on SMOTE and bagging with differentiated sampling rates // Information Sciences. 2018. V. 425. P. 76–91. doi: 10.1016/j.ins.2017.10.017

6. Leong C.K. Credit risk scoring with bayesian network models // Computational Economics. 2016. V. 47. N 3. P. 423–446. doi: 10.1007/s10614-015-9505-8

7. Li S., Deng W. Real world expression recognition: A highly imbalanced detection problem // Proc. 9th International Conference on Biometrics (ICB 2016). 2016. P. 7550074. doi: 10.1109/ICB.2016.7550074

8. Kaya H., Karpov A.A. Introducing weighted kernel classifiers for handling imbalanced paralinguistic corpora: Snoring, addressee and cold // Proc. 18th Annual Conference of the International Speech Communication Association (INTERSPEECH 2017). 2017. P. 3527–3531. doi: 10.21437/Interspeech.2017-653

9. Johnson J.M., Khoshgoftaar T.M. Survey on deep learning with class imbalance // Journal of Big Data. 2019. V. 6. N 1. P. 27. doi: 10.1186/s40537-019-0192-5

10. Chawla N.V., Bowyer K.W., Hall L.O., Kegelmeyer W.P. SMOTE: synthetic minority over-sampling technique // Journal of Artificial Intelligence Research. 2002. V. 16. P. 321–357. doi: 10.1613/jair.953

11. He H., Bay Y., Garcia E.A., Li S. ADASYN: Adaptive Synthetic Sampling Approach for Imbalanced Learning // Proc. of the IEEE International Joint Conference on Neural Networks (IJCNN 2008). 2008. P. 1322–1328. doi: 10.1109/IJCNN.2008.4633969

12. Liu Z.-T., Wu B.-H., Li D.-Y., Xiao P., Mao J.-W. Speech emotion recognition based on selective interpolation synthetic minority over-sampling technique in small sample environment // Sensors. 2020. V. 20. N 8. P. 2297. doi: 10.3390/s20082297

13. Li S., Deng W. Deep emotion transfer network for cross-database facial expression recognition // Proc. 24th International Conference on Pattern Recognition (ICPR 2018). 2018. P. 3092–3099. doi: 10.1109/ICPR.2018.8545284

14. Rashid T.A. Convolutional neural networks based method for improving facial expression recognition // Advances in Intelligent Systems and Computing. 2016. V. 530. P. 73–84. doi: 10.1007/978-3-319-47952-1_6

15. Yi W., Sun Y., He S. Data augmentation using conditional GANs for facial emotion recognition // Proc. of the Progress in Electromagnetics Research Symposium (PIERS-Toyama 2018). 2018. P. 710–714. doi: 10.23919/PIERS.2018.8598226

16. Cao H., Cooper D.G., Keutmann M.K., Gur R.C., Nenkova A., Verma R. CREMA-D: Crowd-sourced emotional multimodal actors dataset // IEEE Transactions on Affective Computing. 2014. V. 5. N 4. P. 377–390. doi: 10.1109/TAFFC.2014.2336244

17. Wilson D.L. Asymptotic properties of nearest neighbor rules using edited data // IEEE Transactions on Systems, Man and Cybernetics. 1972. V. 2. N 3. P. 408–421. doi: 10.1109/TSMC.1972.4309137

18. Tomek I. Two modifications of CNN // IEEE Transactions on Systems, Man and Cybernetics. 1976. V. 6. N 11. P. 769–772. doi: 10.1109/TSMC.1976.4309452

19. Kubat M., Matwin S. Addressing the curse of imbalanced training sets: one-sided selection // Proc. 14th International Conference on Machine Learning. 1997. P. 179–186.

20. Zhang I., Mani I. kNN approach to unbalanced data distributions: a case study involving information extraction // Proc. of Workshop on Learning from Imbalanced Datasets. 2003. P. 42–48.

21. Lemaître G., Nogueira F., Aridas C.K. Imbalanced-learn: A python toolbox to tackle the curse of imbalanced datasets in machine learning // Journal of Machine Learning Research. 2017. V. 18. P. 559–563.

22. Han H., Wang W.-Y., Mao B.-H. Borderline-SMOTE: a new over-sampling method in imbalanced data sets learning // Lecture Notes in Computer Science. 2005. V. 3644. P. 878–887. doi: 10.1007/11538059_91

23. Nguyen H.M., Cooper E.W., Kamei K. Borderline over-sampling for imbalanced data classification // International Journal of Knowledge Engineering and Soft Data Paradigms (IJKESDP). 2011. V. 3. N 1. P. 4–21. doi: 10.1504/IJKESDP.2011.039875

24. Déniz O., Bueno G., Salido J., De La Torre F. Face recognition using histograms of oriented gradients // Pattern Recognition Letters. 2011. V. 32. N 12. P. 1598–1603. doi: 10.1016/j.patrec.2011.01.004

25. Cootes T.F., Taylor C.J., Cooper D.H., Graham J. Active shape models-their training and application // Computer Vision and Image Understanding. 1995. V. 61. N 1. P. 38–59. doi: 10.1006/cviu.1995.1004

26. King D.E. Dlib-ml: A machine learning toolkit // Journal of Machine Learning Research. 2009. V. 10. P. 1755–1758.

27. Van Gent P. Emotion Recognition Using Facial Landmarks Python DLib and OpenCV // A tech blog about fun things with Python Embed. Electron. 2016 [Электронный ресурс]. URL: http://www.paulvangent.com/2016/08/05/emotion-recognition-using-facial-landmarks/ (дата обращения: 19.07.2020).

28. Mollahosseini A., Hasani B., Mahoor M.H. AffectNet: A database for facial expression, valence, and arousal computing in the wild // IEEE Transactions on Affective Computing. 2019. V. 10. N 1. P. 18–31. doi: 10.1109/TAFFC.2017.2740923

29. Carrier P. L., Courville A., Goodfellow I.J., Mirza M., Bengio Y. FER-2013 face database: Technical report 1365. Universit de Montral, 2013.

30. Li S., Deng W., Du J. Reliable crowdsourcing and deep locality-preserving learning for expression recognition in the wild // Proc. 30th IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2017). 2017. P. 2584–2393. doi: 10.1109/CVPR.2017.277

31. Ghaleb E., Popa M., Asteriadis S. Metric learning-based multimodal audio-visual emotion recognition // IEEE Multimedia. 2020. V. 27. N 1. P. 37–48. doi: 10.1109/MMUL.2019.2960219

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License