<div>
	Метод защиты нейронных сетей от компьютерных бэкдор-атак на основе идентификации триггеров закладок</div>

Менисов Артем Бакытжанович , Ломако Александр Григорьевич, Дудкин Андрей  Сергеевич

doi:10.17586/2226-1494-2022-22-4-742-750

2022 , ТОМ 22, НОМЕР 4 ( июль-август )

ISSN 2226-1494 (print), ISSN 2500-0373 (online)

Меню

Публикации

Главный редактор

НИКИФОРОВ
Владимир Олегович
д.т.н., профессор

Партнеры

doi: 10.17586/2226-1494-2022-22-4-742-750

УДК 004.89

Метод защиты нейронных сетей от компьютерных бэкдор-атак на основе идентификации триггеров закладок

Менисов А.Б., Ломако А.Г., Дудкин А.С.

Читать статью полностью

Язык статьи - русский

Ссылка для цитирования:

Менисов А.Б., Ломако А.Г., Дудкин А.С. Метод защиты нейронных сетей от компьютерных бэкдор-атак на основе идентификации триггеров закладок // Научно-технический вестник информационных технологий, механики и оптики. 2022. Т. 22, № 4. С. 742–750. doi: 10.17586/2226-1494-2022-22-4-742-750

Аннотация

Предмет исследования. Современные технологии разработки и эксплуатации нейронных сетей уязвимы для компьютерных атак с внедрением программных закладок (бэкдор). Программные закладки могут оставаться скрытыми неопределенное время, пока не будут активированы вводом модифицированных данных, содержащих триггеры. Такие закладки представляют непосредственную угрозу безопасности информации для всех компонентов системы искусственного интеллекта. Такие воздействия злоумышленников приводят к ухудшению качества или полному прекращению функционирования систем искусственного интеллекта. В работе предложен оригинальный метод защиты нейронных сетей, сущность которого состоит в создании базы ранжированных синтезированных триггеров закладок целевого класса бэкдор-атак. Метод. Предложенный метод защиты нейронных сетей реализован путем последовательности защитных действий: выявлении закладки, идентификации триггера и нейтрализации закладки. Основные результаты. На основе представленного метода разработано программно-алгоритмическое обеспечение испытаний нейронных сетей, позволяющее выявить и нейтрализовать закладки для осуществления компьютерных бэкдор-атак. Экспериментальные исследования проведены на различных архитектурах сверточных нейронных сетей, обученных на наборах данных, для таких объектов, как аэрофотоснимки (DOTA), рукописные цифры (MNIST) и фотографии лиц людей (LFW). Снижение эффективности бэкдор-атак (не более 3 %) и малые потери качества функционирования нейронных сетей (на 8–10 % от качества функционирования нейронной сети без закладки) показало успешность разработанного метода. Практическая значимость. Применение предложенного метода защиты нейронных сетей позволит специалистам по информационной безопасности целенаправленно противодействовать компьютерным бэкдор-атакам на системы искусственного интеллекта и создать новые автоматизированные средства защиты информации

Ключевые слова: искусственный интеллект, искусственная нейронная сеть, информационная безопасность, компьютерные атаки, бэкдор, закладки в нейронных сетях, синтезированные триггеры

Благодарности. Работа выполнена в рамках гранта Президента Российской Федерации для государственной поддержки молодых российских ученых — кандидатов наук МК-2485.2022.4.

Список литературы

Буханов Д.Г., Поляков В.М., Редькина М.А. Обнаружение вредоносного программного обеспечения с использованием искусственной нейронной сети на основе адаптивно-резонансной теории //Прикладная дискретная математика. 2021. № 52. С. 69–82. https://doi.org/10.17223/20710410/52/4
Massarelli L., Di Luna G.A., Petroni F., Querzoni L., Baldoni R. Investigating graph embedding neural networks with unsupervised features extraction for binary analysis // Proc. of the 2^nd Workshop on Binary Analysis Research (BAR). 2019. https://dx.doi.org/10.14722/bar.2019.23020
Забелина В.А., Савченко Г.А., Черненький И.М., Силантьева Е.Ю. Обнаружение Интернет-атак с помощью нейронной сети // Динамика сложных систем-XXI век. 2021. Т. 15. № 2. С. 39–47. https://doi.org/10.18127/j19997493-202102-04
Архипова А.Б., Поляков П.А. Методология построения нейронной нечеткой сети в области информационной безопасности // Безопасность цифровых технологий. 2021. № 3. С. 43–56. https://doi.org/10.17212/2782-2230-2021-3-43-56
Спицын В.Г., Цой Ю.Р. Эволюционирующие искусственные нейронные сети // Сборник трудов IV Всероссийской конференции студентов, аспирантов и молодых ученых "Молодежь и современные информационные технологии", Томск, 28 февраля – 2 марта, 2006г.Томск, 2006. C. 411–413.
Мак-Каллок У.С., Питтс В. Логическое исчисление идей, относящихся к нервной активности //Автоматы/под ред. К.Э.Шеннона и Дж. Маккарти. М.: Иностранная литература, 1956. С. 363–384.
Шевская Н.В. Объяснимый искусственный интеллект и методы интерпретации результатов //Моделирование, оптимизация и информационные технологии. 2021. Т. 9. № 2. С. 22–23. https://doi.org/10.26102/2310-6018/2021.33.2.024
Xu Q., Arafin M.T., Qu G. Security of neural networks from hardware perspective: A survey and beyond // Proc. of the 26^th Asia and South Pacific Design Automation Conference (ASP-DAC). 2021. P. 449–454. https://doi.org/10.1145/3394885.3431639
Kravets V., Javidi B., Stern A. Defending deep neural networks from adversarial attacks on three-dimensional images by compressive sensing // Proc. of the 3D Image Acquisition and Display: Technology, Perception and Applications. 2021.
Liu Y., Ma S., Aafer Y., Lee W.-C., Zhai J. Trojaning attack on neural networks: Report 17-002. 2017.
Chen X., Liu C., Li B., Lu K., Song D. Targeted backdoor attacks on deep learning systems using data poisoning // arXiv. 2017. arXiv:1712.05526. https://doi.org/10.48550/arXiv.1712.05526
Li W., Yu J., Ning X., Wang P., Wei Q., Wang Y., Yang H. Hu-Fu: Hardware and software collaborative attack framework against neural networks // Proc. of the 17^th IEEE Computer Society Annual Symposium on VLSI (ISVLSI). 2018. P. 482–487. https://doi.org/10.1109/ISVLSI.2018.00093
Gong X., Chen Y., Wang Q., Huang H., Meng L., Shen C., Zhang Q. Defense-resistant backdoor attacks against deep neural networks in outsourced cloud environment // IEEE Journal on Selected Areas in Communications. 2021. V. 39. N 8. P. 2617–2631. https://doi.org/10.1109/JSAC.2021.3087237
Wenger E., Passananti J., Bhagoji A.N., Yao Y., Zheng H., Zhao B.Y. Backdoor attacks against deep learning systems in the physical world // Proc. of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2021. P. 6202–6211. https://doi.org/10.1109/CVPR46437.2021.00614
Shahroudnejad A. A survey on understanding, visualizations, and explanation of deep neural networks // arXiv. 2021. arXiv:2102.01792. https://doi.org/10.48550/arXiv.2102.01792
Wang B., Yao Y., Shan Sh., Li H., Viswanath B., Zheng H., Zhao B.Y. Neural cleanse: Identifying and mitigating backdoor attacks in neural networks // Proc. of the 40^th IEEE Symposium on Security and Privacy (SP). 2019. P. 707–723. https://doi.org/10.1109/SP.2019.00031
Xia G.-S., Bai X., Ding J., Zhu Z., Belongie S., Luo J., Datcu M., Pelillo M., Zhang L. DOTA: A large-scale dataset for object detection in aerial images // Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2018. P. 3974–3983. https://doi.org/10.1109/CVPR.2018.00418
Deng L. The MNIST database of handwritten digit images for machine learning research // IEEE Signal Processing Magazine. 2012. V. 29. N 6. P. 141–142. https://doi.org/10.1109/MSP.2012.2211477
Huang G.B., Mattar M., Berg T., Learned-Miller E. Labeled faces in the wild: A database forstudying face recognition in unconstrained environments // Proc. of the Workshop on Faces in 'Real-Life' Images: Detection, Alignment, and Recognition. 2008.
Wang J., Xiao H., Chen L., Xing J., Pan Z., Luo R., Cai X. Integrating weighted feature fusion and the spatial attention module with convolutional neural networks for automatic aircraft detection from SAR images // Remote Sensing. 2021. V. 13. N 5. P. 910. https://doi.org/10.3390/rs13050910
An S., Lee M., Park S., Yang H., Soet J. An ensemble of simple convolutional neural network models for MNIST digit recognition // arXiv. 2020. arXiv:2008.10400. https://doi.org/10.48550/arXiv.2008.10400
Yan M., Zhao M., Xu Z., Zhang Q., Wang G., Su Z. VarGFaceNet: An efficient variable group convolutional neural network for lightweight face recognition // Proc. of the 17^th IEEE/CVF International Conference on Computer Vision Workshops (ICCVW). 2019. P. 2647–2654. https://doi.org/10.1109/ICCVW.2019.00323
Liu X., Li F., Wen B., Li Q. Removing backdoor-based watermarks in neural networks with limited data // Proc. of the 25^th International Conference on Pattern Recognition (ICPR). 2021. P. 10149–10156. https://doi.org/10.1109/ICPR48806.2021.9412684
Kaviani S., Sohn I. Defense against neural trojan attacks: A survey // Neurocomputing. 2021. V. 423. P. 651–667. https://doi.org/10.1016/j.neucom.2020.07.133

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License