<div>
	Способ быстрой разметки сверхбольших данных аэросъемки</div>

Федулин Андрей Михайлович , Волошина Наталия Викторовна

doi:10.17586/2226-1494-2024-24-2-190-197

2024 , ТОМ 24, НОМЕР 2 ( март-апрель )

ISSN 2226-1494 (print), ISSN 2500-0373 (online)

Меню

Публикации

Главный редактор

НИКИФОРОВ
Владимир Олегович
д.т.н., профессор

Партнеры

doi: 10.17586/2226-1494-2024-24-2-190-197

УДК 004.032.26

Способ быстрой разметки сверхбольших данных аэросъемки

Федулин А.М., Волошина Н.В.

Читать статью полностью

Язык статьи - английский

Ссылка для цитирования:

Федулин А.М., Волошина Н.В. Способ быстрой разметки сверхбольших данных аэросъемки // Научно-технический вестник информационных технологий, механики и оптики. 2024. Т. 24, № 2. С. 190–197 (на англ. яз.). doi: 10.17586/2226-1494-2024-24-2-190-197

Аннотация

Введение. Современные нейросетевые технологии активно применяются для беспилотных летательных аппаратов. Для решения задач детектирования, классификации и сопровождения объектов, расположенных на поверхности Земли, используются сверточные нейронные сети. Для повышения эффективности работы сверточных нейронных сетей требуется периодическое дообучение применяемых моделей нейронных сетей на вновь поступающих полетных данных. Такие обучающие данные необходимо дополнительно размечать. Это приводит к увеличению общего времени подготовки дообученной модели нейронной сети. Задача сокращения времени разметки чаще всего решается путем применения процедуры авторазметки и трекинга размеченных объектов. Однако существующие подходы не являются эффективными при разметке сверхбольших данных аэросъемки со стандартной для беспилотных летательных аппаратов большой продолжительностью полета (более 8 ч). Таким образом, задача поиска дополнительных способов сокращения времени разметки является актуальной. В данной работе предложен способ быстрой разметки данных аэросъемки, собранных с видеокамер в процессе полетов беспилотных летательных аппаратов. Метод. Стандартная процедура разметки дополнена прореживанием сильно перекрывающихся кадров в сочетании с последующим переносом результирующей разметки на все кадры размечаемого видео. Для каждого оставшегося после прореживания кадра вычисляется значение его потенциальной информативности (Potential Information Value, PIV), как совокупная оценка аномалий кадра, его качества и количества автоматически детектированных объектов. Полученные значения PIV используются для ранжирования кадров по уровню значимости. Таким образом, оператору беспилотного летательного аппарата предоставляются в начале процедуры разметки наиболее значимые кадры. Основные результаты. Экспериментальное исследование эффективности предложенного подхода выполнено на подготовленных наборах данных аэросъемки, полученных с беспилотного летательного аппарата с продолжительностью съемки не менее 8 ч. Показано, что время разметки может быть уменьшено в среднем на 50 % относительно применения существующих программных средств. При этом первые 40 % отсортированных кадров содержат 80 % размеченных объектов. Обсуждение. Предложенный способ позволяет существенно уменьшить итоговое время разметки вновь поступающих полетных видеоданных для дальнейшего дообучения модели сверточных нейронных сетей. Это позволяет провести разметку непосредственно в межполетный интервал времени, составляющий в среднем 2–3 ч. Предлагаемый подход может быть применен для уменьшения загрузки операторов беспилотного летательного аппарата.

Ключевые слова: способ быстрой разметки, беспилотный летательный аппарат, БПЛА, продолжительность полета БПЛА, состязательные атаки, величина потенциальной информативности кадра, PIV

Список литературы

Zhao Z., Zheng P., Xu S., Wu X. Object detection with deep learning: A review // arXiv. 2019. arXiv:1807.05511. https://doi.org/10.48550/arXiv.1807.05511
Ren S., He K., Girshick R., Sun J. Faster R-CNN: Towards real-time object detection with region proposal networks // Advances in Neural Information Processing Systems. 2015. V. 28. P. 91–99.
Liu S., Liu Z. Multi-channel CNN-based object detection for enhanced situation awareness // Sensors & Electronics Technology (SET) panel Symposium SET-241 on 9th NATO Military Sensing Symposium. 2017.
Mahalanobis A., McIntosh B. A comparison of target detection algorithms using DSIAC ATR algorithm development data set // Proceedings of SPIE. 2019. V. 10988. P. 1098808. https://doi.org/10.1117/12.2517423
Liu W., Anguelov D., Erhan D., Szegedy C., Reed S., Fu C.-Y., Berg A. SSD: Single shot multibox detector // Lecture Notes in Computer Science. 2016. V. 9905. P. 21–37. https://doi.org/10.1007/978-3-319-46448-0_2
Ronneberger O., Fischer P., Brox T. U-Net: Convolutional networks for biomedical image segmentation // Lecture Notes in Computer Science. 2015. V. 9351. P. 234–241. https://doi.org/10.1007/978-3-319-24574-4_28
Redmon J. Farhadi A. YOLO9000: better, faster, stronger // Proc. of the 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2017. P. 6517–6525. https://doi.org/10.1109/CVPR.2017.690
Chen H-W., Reyes M., Marquand B., Robie D. Advanced automated target recognition (ATR) and multi-target tracker (MTT) with electro-optical (EO) sensors // Proceedings of SPIE. 2020. V. 11511. P. 115110V. https://doi.org/10.1117/12.2567178
Redmon J., Farhadi A. YOLOv3: An Incremental Improvement // arXiv. 2018. ar.Xiv:1804.02767v1. https://doi.org/10.48550/arXiv.1804.02767
Wang C.Y., Bochkovskiy A., Liao M. YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors // Proc. of the 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2023. https://doi.org/10.1109/CVPR52729.2023.00721
Fedulin A.M., Evstaf'ev D.V., Kondrashova G.L., Artemenko N.V. Human-autonomy teaming interface design for multiple-UAV control // Russian Aeronautics. 2022. V. 65. N 2. P. 419–424. https://doi.org/10.3103/S1068799822020222
Barnell M., Raymond C., Capraro Ch., Isereau D., Cicotta Ch., Stokes N. High-performance computing (HPC) and machine learning demonstrated in flight using agile condor // Proc. of the 2018 IEEE High Performance extreme Computing Conference (HPEC). 2018. P. 1–4. https://doi.org/10.1109/HPEC.2018.8547797
Федулин А.М., Дрягин Д.М. Перспективы применения крупноразмерных БПЛА при решении задач комплексного обследования территорий // Известия ЮФУ. Технические науки. 2021. № 1(218). С. 271–281. https://doi.org/10.18522/2311-3103-2021-1-271-281
Fei-Fei L., Fergus R., Perona P. One-shot learning of object categories // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2006. V. 28. N 4. P. 594–611. https://doi.org/10.1109/tpami.2006.79
Fink M. Object classification from a single example utilizing class relevance metrics // Advances in Neural Information Processing Systems. 2004. V. 17. P. 449–456.
Alajaji D., Alhichri H.S., Ammour N., Alajlan N. Few-shot learning for remote sensing scene classification // Proc. of the 2020 Mediterranean and Middle-East Geoscience and Remote Sensing Symposium (M2GARSS). P. 81–84. https://doi.org/10.1109/M2GARSS47143.2020.9105154
Sager Ch., Janiesch Ch., Zschech P. A survey of image labelling for computer vision applications // Journal of Business Analytics. 2021. V. 4. N 2. P. 91–110. https://doi.org/10.1080/2573234X.2021.1908861
Oprea A., Vassilev A., Fordyce A., Anderson H. Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations: Report NIST AI100-2E2023. 107 p. https://doi.org/10.6028/NIST.AI.100-2e2023
Choi J.I., Tian Q. Adversarial attack and defense of YOLO detectors in autonomous driving scenarios // Proc. of the 2022 IEEE Intelligent Vehicles Symposium (IV). 2022. P. 1011–1017. https://doi.org/10.1109/IV51971.2022.9827222
Wang C.Y., Bochkovskiy A., Liao H.Y.M. YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors // Proc. of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2023. P. 7464–7475. https://doi.org/10.1109/cvpr52729.2023.00721
Defard T., Setkov A., Loesch A., Audigier R. PaDiM: A Patch distribution modeling framework for anomaly detection and localization // Lecture Notes in Computer Science. 2021. V. 12664. P. 475–489. https://doi.org/10.1007/978-3-030-68799-1_35
Ilg E., Mayer N., Saikia T., Keuper M., Dosovitskiy A., Brox T. Flownet 2.0: Evolution of optical flow estimation with deep networks // Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2017. P. 1647–1655. https://doi.org/10.1109/cvpr.2017.179
Guillermo M., Billones R.K., Bandala A., Vicerra R.R., Sybingco E., Dadios E.P., Fillone A. Implementation of automated annotation through mask RCNN Object Detection Model in CVAT using AWS EC2 Instance // Proc.of the 2020 IEEE REGION 10 CONFERENCE (TENCON). 2020. P. 708–713. https://doi.org/10.1109/tencon50793.2020.9293906

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License