Меню
Публикации
2024
2023
2022
2021
2020
2019
2018
2017
2016
2015
2014
2013
2012
2011
2010
2009
2008
2007
2006
2005
2004
2003
2002
2001
Главный редактор
НИКИФОРОВ
Владимир Олегович
д.т.н., профессор
Партнеры
doi: 10.17586/2226-1494-2022-22-1-33-46
УДК 004.04
Детектирование состояния зевоты у водителя транспортного средства при помощи модели сверточной нейронной сети
Читать статью полностью
Язык статьи - русский
Ссылка для цитирования:
Аннотация
Ссылка для цитирования:
Лашков И.Б. Детектирование состояния зевоты у водителя транспортного средства при помощи модели сверточной нейронной сети // Научно-технический вестник информационных технологий, механики и оптики. 2022. Т. 22, № 1. С. 33–46. doi: 10.17586/2226-1494-2022-22-1-33-46
Аннотация
Предмет исследования. Среди факторов, потенциально являющихся причиной возникновения дорожно-транспортных происшествий, является усталость водителя, накапливающаяся во время поездки или присутствующая еще до ее начала. Распространенный признак усталости или утомления у водителя транспортного средства — зевота. Выявление признаков зевоты у человека способно охарактеризовать состояние усталости. Методы компьютерной обработки изображений активно применяются в задачах детектирования открытости рта и определения зевоты у человека. Однако такой подход обладает перечнем недостатков, к которым относятся различные окружающие условия работы и множество ситуационных вариантов зевоты для разных людей. Представлена схема детектора выявления признаков зевоты, заключающаяся в обработке изображений лица водителя с использованием методов анализа данных, компьютерной обработки изображений и сверточной модели нейронной сети. Метод. Сущность предложенного метода заключается в детектировании признаков состояния зевоты в поведении водителя в кабине транспортного средства на основе анализа последовательности изображений, полученных с видеокамеры. Показано, что возникновение состояния зевоты водителя сопровождается широким и продолжительным открытием рта. Длительная открытость рта сигнализирует о возникновении признаков зевоты у человека. Представлена концептуальная модель обнаружения открытости рта у человека, и разработана схема обработки и полуавтоматической разметки наборов данных YawDD и Kaggle Drowsiness Dataset. Разработанная модель сверточной нейронной сети показала точность равную 0,992 и полноту — 0,871 на тестовом 10 % наборе данных. Основные результаты. Предложенная схема детектора выявления призраков зевоты апробирована на тестовой выборке видео, сформированной набором данных YawDD: Yawning Detection Dataset. Данная схема детектирования успешно обнаружила 124 зевка среди всех видеофайлов из тестового набора данных. Доля правильно классифицированных объектов составила 98,2 %, точность — 96,1 %, полнота — 98,4 %, а F-мера — 97,3 % при определении признаков зевоты у водителя транспортного средства. Практическая значимость. Детектирование признаков зевоты в поведении водителя позволяет уточнить о нем информацию, и тем самым повысить эффективность существующих систем мониторинга водителя в кабине транспортного средства, ориентированных на предотвращение и снижение риска возникновения дорожно-транспортных происшествий. Предлагаемый подход может быть использован совместно с другими технологиями мониторинга поведения водителя при построении интеллектуальной системы поддержки водителя.
Ключевые слова: транспортное средство, водитель, зевота, камера, мониторинг, обработка информации
Благодарности. Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 19-29-06099 (разработка методов поиска уязвимостей интерфейсов взаимодействия человека с искусственным интеллектом транспортной среды «умного города»). Концептуальная модель мониторинга поведения водителя была поддержана бюджетной темой СПб ФИЦ РАН № FFZF-2022-0005.
Список литературы
Благодарности. Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 19-29-06099 (разработка методов поиска уязвимостей интерфейсов взаимодействия человека с искусственным интеллектом транспортной среды «умного города»). Концептуальная модель мониторинга поведения водителя была поддержана бюджетной темой СПб ФИЦ РАН № FFZF-2022-0005.
Список литературы
- Rau P.S. Drowsy driverdetection and warning system for commercial vehicle drivers: Field operational test design, data analyses, and progress // Proc. Nat. Highway Traffic Saf. Admin. 2005. P. 05–0192.
- Dua M., Singla R., Singla R., Raj S., Jangra A. Deep CNNmodels-based ensemble approach to driver drowsiness detection // Neural Computing and Applications. 2021. V. 33. N 8. P. 3155–3168.https://doi.org/10.1007/s00521-020-05209-7
- Bakheet S., Al-Hamadi A. A frameworkfor instantaneous driver drowsiness detection based on improved HOG features and naïve bayesian classification // Brain Sciences. 2021. V. 11. N 2. P. 240.https://doi.org/10.3390/brainsci11020240
- Li L., Chen Y., Li Z. Yawning detection for monitoring driver fatigue based on two cameras // Proc. 12th International IEEE Conference on Intelligent Transportation Systems (ITSC). 2009. P. 12–17. https://doi.org/10.1109/ITSC.2009.5309841
- Daquin G., Micallef J., Blin O. Yawning // Sleep Medicine Reviews. 2001. V. 5. N 4. P. 299–312. https://doi.org/10.1053/smrv.2001.0175
- Jackson P., Hilditch C., Holmes A., Reed N., Merat N., Smith L. Fatigue and Road Safety: A Critical Analysis of Recent Evidence. Department for Transport, London, 2011. 88 p.
- Resendes R., Martin K.H. Saving Lives Through Advanced Safety Technology. Faderal Highway Administration, US, Washington, DC, 2003.
- Wang L., Sun P., Xie M., Ma S., Li B., Shi Y., Su Q. Advanced driver-assistance system (ADAS) for intelligent transportation based on the recognition of traffic cones // Advances in Civil Engineering. 2020. P. 8883639. https://doi.org/10.1155/2020/8883639
- Zhang W., Murphey Y.L., Wang T., Xu Q. Driver yawning detection based on deep convolutional neural learning and robust nose tracking // Proc. of the International Joint Conference on Neural Networks (IJCNN). 2015. P. 1–8. https://doi.org/10.1109/IJCNN.2015.7280566
- Chevalier Y., Fenzl F., Kolomeets M., Rieke R., Chechulin A., Krauss C. Cyberattack detection in vehicles using characteristic functions, artificial neural networks, and visual analysis // Информатика и автоматизация. 2021. Т. 20. № 4. С. 845–868. https://doi.org/10.15622/ia.20.4.4
- Hasan F., Kashevnik A. State-of-the-Art Analysis of modern drowsiness detection algorithms based on computer vision // Proc. of the 29th Conference of Open Innovations Association (FRUCT). 2021. P. 141–149. https://doi.org/10.23919/FRUCT52173.2021.9435480
- Kashevnik A., Lashkov I., Parfenov V., Mustafin N., Baraniuc O. Context-based driver support system development: Methodology and case study // Proc. of the 21st Conference of Open Innovations Association (FRUCT). 2017. P. 162–171. https://doi.org/10.23919/FRUCT.2017.8250179
- Kashevnik A., Lashkov I., Gurtov A. Methodology and mobile application for driver behavior analysis and accident prevention // IEEE Transactions on Intelligent Transportation Systems. 2020. V. 21. N 6. P. 2427–2436. https://doi.org/10.1109/TITS.2019.2918328
- Ibrahim M.M., Soraghan J.J., Petropoulakis L., Di Caterina G. Yawn analysis with mouth occlusion detection // Biomedical Signal Processing and Control. 2015. V. 18. P. 360–369. https://doi.org/10.1016/j.bspc.2015.02.006
- Ji Y., Wang S., Lu Y., Wei J., Zhao Y. Eye and mouth state detection algorithm based on contour feature extraction // Journal of Electronic Imaging. 2018. V. 27. N 5. P. 051205. https://doi.org/10.1117/1.JEI.27.5.051205
- Omidyeganeh M., Shirmohammadi S., Abtahi S., Khurshid A., Farhan M., Scharcanski J., Hariri B., Laroche D., Martel L. Yawning detection using embedded smart cameras // IEEE Transactions on Instrumentation and Measurement. 2016. V. 65. N 3. P. 570–582. https://doi.org/10.1109/TIM.2015.2507378
- Khan S., Akram A., Usman N. Real time automatic attendance system for face recognition using face API and OpenCV // Wireless Personal Communications. 2020. V. 113. N 1. P. 469–480. https://doi.org/10.1007/s11277-020-07224-2
- Jose J., Vimali J.S., Ajitha P., Gowri S., Sivasangari A., Jinila B. Drowsiness detection system for drivers using image processing technique // Proc. of the 5th International Conference on Trends in Electronics and Informatics (ICOEI). 2021. P. 1527–1530. https://doi.org/10.1109/ICOEI51242.2021.9452864
- Al-Madani A.M., Gaikwad A.T., Mahale V., Ahmed Z.A., Shareef A.A.A. Real-time driver drowsiness detection based on eye movement and yawning using facial landmark // Proc. of the International Conference on Computer Communication and Informatics (ICCCI). 2021. P. 1–4. https://doi.org/10.1109/ICCCI50826.2021.9457005
- Akrout B., Mahdi W. Yawning detection by the analysis of variational descriptor for monitoring driver drowsiness // Proc. of the 2nd International Image Processing, Applications and Systems Conference (IPAS). 2016. P. 1–5. https://doi.org/10.1109/IPAS.2016.7880127
- Zharmagambetov A., Gabidolla M., Carreira-Perpinán M.A. Improved multiclass AdaBoost for image classification: The role of tree optimization // Proc. of the IEEE International Conference on Image Processing (ICIP). 2021. P. 19–22. https://doi.org/10.1109/ICIP42928.2021.9506569
- Ковшов Е.Е., Завистовская Т.А. Разработка автоматизированной системы контроля и управления доступом на основе анализа динамики носогубных мышц лица человека // Современные проблемы науки и образования. 2013. № 2. С. 185.
- Kass M., Witkin A., Terzopoulos D. Snakes: Active contour models // International Journal of Computer Vision. 1988. V. 1. N 4. P. 321–331. https://doi.org/10.1007/BF00133570
- Yazdi Z.M., Soryani M. Driver drowsiness detection by identification of yawning and eye closure // Automotive Science and Engineering. 2019. V. 9. N 3. P. 3033–3044. https://doi.org/10.22068/ijae.9.3.3033
- Kassem H.A., Chowdhury M.U., Abawajy J., Al-Sudani A.R. Yawn based driver fatigue level prediction // EPiC Series in Computing. 2020. V. 69. P. 372–382. https://doi.org/10.29007/67kk
- Abtahi S., Omidyeganeh M., Shirmohammadi S., Hariri B. YawDD: A yawning detection dataset // Proc. of the 5th ACM Multimedia Systems Conference. 2014. P. 24–28. https://doi.org/10.1145/2557642.2563678
- Yang H., Liu L., Min W., Yang X., Xiong X. Driver yawning detection based on subtle facial action recognition // IEEE Transactions on Multimedia. 2021. V. 23. P. 572–583. https://doi.org/10.1109/TMM.2020.2985536
- Suwarno S., Kevin K. Analysis of face recognition algorithm: Dlib and openCV // Journal of Informatics and Telecommunication Engineering. 2020. V. 4. N 1. P. 173–184. https://doi.org/10.31289/jite.v4i1.3865
- Zhang S., Zhu X., Lei Z., Shi H., Wang X., Li S.Z. FaceBoxes: A CPU real-time face detector with high accuracy // Proc. of the IEEE International Joint Conference on Biometrics (IJCB). 2017. P. 1–9. https://doi.org/10.1109/BTAS.2017.8272675
- Zhang K., Zhang Z., Li Z., Qiao Y. Joint face detection and alignment using multitask cascaded convolutional networks // IEEE Signal Processing Letters. 2016. V. 23. N 10. P. 1499–1503. https://doi.org/10.1109/LSP.2016.2603342
- Bazarevsky V., Kartynnik Y., Vakunov A., Raveendran K., Grundmann M. Blazeface: Sub-millisecond neural face detection on mobile gpus // arXiv.org. 2019. arXiv:1907.05047.
- Bulat A., Tzimiropoulos G. How far are we from solving the 2D & 3D face alignment problem? (and a dataset of 230,000 3d facial landmarks) // Proc. of the 16th IEEE International Conference on Computer Vision (ICCV). 2017. P. 1021–1030. https://doi.org/10.1109/ICCV.2017.116
- Cohen G., Afshar S., Tapson J., Van Schaik A. EMNIST: Extending MNIST to handwritten letters // Proc. of the International Joint Conference on Neural Networks (IJCNN). 2017. P. 2921–2926. https://doi.org/10.1109/IJCNN.2017.7966217
- Goodfellow I.J., Erhan D., Carrier P.L., Courville A., Mirza M., Hamner B., Cukierski W., Tang Y., Thaler D., Lee D., Zhou Y., Ramaiah C., Feng F., Li R., Wang X., Athanasakis D., Shawe-Taylor J., Milakov M., Park J., Ionescu R., Popescu M., Grozea C., Bergstra J., Xie J., Romaszko L., Xu B., Chuang Z., Bengio Y. Challenges in representation learning: A report on three machine learning contests // Lecture Notes in Computer Science. 2013. V. 8228. P. 117–124. https://doi.org/10.1007/978-3-642-42051-1_16
- Ramos A.L., Erandio J.C., Enteria E.M., Del Carmen N., Enriquez L.J., Mangilaya D.H. Driver drowsiness detection based on eye movement and yawning using facial landmark analysis // International Journal of Simulation: Systems, Science & Technology. 2019. V. 20. N S2. P. 37. https://doi.org/10.5013/IJSSST.a.20.S2.37
- Savaş B.K., Becerikli Y. Real time driver fatigue detection based on SVM algorithm // Proc. of the 6th International Conference on Control Engineering and Information Technology (CEIT). 2018. P. 1–4. https://doi.org/10.1109/CEIT.2018.8751886
- Saradadevi M., Bajaj P. Driver fatigue detection using mouth and yawning analysis // International Journal of Computer Science and Network Security. 2008. V. 8. N 6. P. 183–188.
- Castella F.R. Sliding window detection probabilities // IEEE Transactions on Aerospace and Electronic Systems. 1976. V. AES-12. N 6. P. 815–819. https://doi.org/10.1109/TAES.1976.308363