Моделирование нарушений безопасности в системах машинного обучения

Чекмарев М.А., Клюев С.Г., Шадский В.В. Моделирование нарушений безопасности в системах машинного обучения // Научно-технический вестник информационных технологий, механики и оптики. 2021. Т. 21, № 4. С. 592–598. doi: 10.17586/2226-1494-2021-21-4-592-598. 

Предмет исследования. Широкое распространение машинного обучения, включая объекты критической информационной инфраструктуры, влечет за собой риски угроз безопасности при отсутствии надежных средств защиты. В работе рассмотрены процессы в системах машинного обучения по аналогии с информационными системами, которые подвержены вредоносным воздействиям. Представлены результаты моделирования событий, приводящих к нарушению безопасности в системах машинного обучения объектов критической информационной инфраструктуры. Метод. При моделировании применена технология создания функциональных моделей SADT (Structured Analysis and Design Technique) и методология IDEF0 (Integration definition for function modeling) как инструмент перехода от вербально-функционального описания исследуемого процесса к описанию в терминах математического представления. Для исследования сценариев перехода систем машинного обучения в опасное состояние и численной оценки вероятности нарушения безопасности выполнено математическое моделирование угроз с использованием логико-вероятностного метода. Основные результаты. Получена наглядная функциональная модель нарушения безопасности системы в виде контекстной диаграммы системы и двух уровней декомпозиции. Определена функция опасности системы и выведен арифметический полином вероятностной функции. Практическая значимость. Представленные модели позволят разработать методы и алгоритмы защиты систем машинного обучения от вредоносных воздействий и применять их в ходе оценки уровня защищенности.

1. Nelson B., Barreno M., Chi F.J., Joseph A.D., Rubinstein B.I.P., Saini U., Sutton C., Tygar J.D., Xia K. Exploiting machine learning to subvert your spam filter // Proc. of First USENIX Workshop on Large-Scale Exploits and Emergent Threats. 2008 [Электронный ресурс]. URL: https://people.eecs.berkeley.edu/~tygar/papers/SML/Spam_filter.pdf (дата обращения: 25.03.2021).

2. Biggio B., Nelson B., Laskov P. Poisoning attacks against support vector machines // Proc. of the 29th International Conference on Machine Learning (ICML 2012). 2012. P. 1807–1814 [Электронный ресурс]. URL: https://icml.cc/2012/papers/880.pdf (дата обращения: 25.03.2021).

3. Steinhardt J., Koh P.W., Liang P. Certified defenses for data poisoning attacks // Advances in Neural Information Processing Systems. 2017. V. 30. P. 3518–3530.

4. Goodfellow I.J., Shlens J., Szegedy C. Explaining and harnessing adversarial examples // Proc. of the 3rd International Conference on Learning Representations. 2015.

5. Sharif M., Bhagavatula S., Bauer L., Reiter M.K. Accessorize to a crime: Real and stealthy attacks on state-of-the-art face recognition // Proc. of the 23th ACM Conference on Computer and Communications Security (CCS). 2016 [Электронный ресурс]. URL: https://www.cs.cmu.edu/~sbhagava/papers/face-rec-ccs16.pdf (дата обращения: 11.04.2021). https://doi.org/10.1145/2976749.2978392

6. Tramèr F., Zhang F., Juels A., Reiter M.K., Ristenpart T. Stealing machine learning models via prediction APIs // Proc. of the 25th USENIX Conference on Security Symposium. 2016. P. 601–608.

7. Carlini N., Liu C., Erlingsson Ú., Kos J., Song D. The secret sharer: Evaluating and testing unintended memorization in neural networks // Proc. of the 28th USENIX Security Symposium. 2019. P. 267–284.

8. Ateniese G., Mancini L.V., Spognardi A., Villani A., Vitali D., Felici G. Hacking smart machines with smarter ones: How to extract meaningful data from machine learning classifiers // International Journal of Security and Networks. 2015. V. 10. N 3. P. 137–150. https://doi.org/10.1504/IJSN.2015.071829

9. Fredrikson M., Jha S., Ristenpart T. Model inversion attacks that exploit confidence information and basic countermeasures // Proc. of the 22nd ACM SIGSAC Conference on Computer and Communications Security. 2015. P. 1322–1333 [Электронный ресурс]. URL: https://rist.tech.cornell.edu/papers/mi-ccs.pdf (дата обращения: 25.03.2021). https://doi.org/10.1145/2810103.2813677

10. Fredrikson M., Lantz E., Jha S., Lin S., Page D., Ristenpart T. Privacy in pharmacogenetics: An end-to-end case study of personalized warfarin dosing // Proc. of the 23rd USENIX Security Symposium. 2014. P. 17–32 [Электронный ресурс]. URL: https://www.usenix.org/system/files/conference/usenixsecurity14/sec14-paper-fredrikson-privacy.pdf (дата обращения: 11.04.2021).

11. Запечников С.В. Модели и алгоритмы конфиденциального машинного обучения // Безопасность информационных технологий. 2020. Т. 27. № 1. С. 51–67. https://doi.org/10.26583/bit.2020.1.05

12. Финько О.А., Соколовский Е.П. Алгоритм оценки информационной безопасности в системах защиты информации на основе логико-вероятностного метода И.А. Рябинина // Известия ЮФУ. Технические науки. 2013. № 12(149). С. 172–178.

13. Рябинин И.А. Надежность и безопасность структурно-сложных систем: монография. СПб.: Политехника, 2000. 248 с.

14. Колмогоров А.Н., Драгалин А.Г.  Математическая логика: Введение в математическую логику: учебное пособие. М.: ЛЕНАНД, 2017. 240 с.

15. Мхитарян В.С., Астафьева Е.В., Миронкина Ю.Н., Трошин Л.И. Теория вероятностей и математическая статистика: учеб. пособие /под ред. В.С. Мхитаряна. 2-е изд., перераб. и доп. М.: Московский финансово-промышленный университет «Синергия», 2013. 336 с. (Университетская серия).

16. Финько О.А. Модулярная арифметика параллельных логических вычислений: монография / Под ред. В.Д. Малюгина. М.: Институт проблем управления им. В.А. Трапезникова РАН, 2003. 224 с.

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License