Меню
Публикации
2026
2025
2024
2023
2022
2021
2020
2019
2018
2017
2016
2015
2014
2013
2012
2011
2010
2009
2008
2007
2006
2005
2004
2003
2002
2001
Главный редактор
НИКИФОРОВ
Владимир Олегович
д.т.н., профессор
Партнеры
doi: 10.17586/2226-1494-2026-26-3-504-516
УДК 004.056
Слабо контролируемое распознавание веб-технологий с применением машинного обучения, усиленного правилами
Читать статью полностью
Язык статьи - английский
Ссылка для цитирования:
Аннотация
Ссылка для цитирования:
Дееб Р., Воробьева А.А. Слабо контролируемое распознавание веб-технологий с применением машинного обучения, усиленного правилами // Научно-технический вестник информационных технологий, механики и оптики. 2026. Т. 26, № 3. С. 504–516 (на англ. яз.). doi: 10.17586/2226-1494-2026-26-3-504-516
Аннотация
Введение. Задача идентификации технологий, используемых веб-приложениями, является ключевой для анализа уязвимостей, инвентаризации ресурсов и исследовательского анализа среды. Традиционные инструменты, полагающиеся на статические сигнатурные правила, обладают фундаментальными ограничениями: они требуют постоянного ручного сопровождения, чувствительны к обфускации и динамической загрузке, а также недостаточно эффективны, если признаки выражены слабо, искажены или зашумлены. В работе предлагается применение метода слабого обучения на основе поведенческих характеристик для создания надежного и расширяемого классификатора. Метод. Представлен гибридный подход, сочетающий слабо контролируемое машинное обучение с постобработкой на основе правил. В качестве источника слабо размеченных данных используются две независимые сигнатурные системы Wappalyzer и BuiltWith; итоговая метка о наличии технологии присваивается только при совпадении их решений. На размеченных данных обучается многоклассовая модель случайного леса. Признаковое пространство формируется на основе поведенческих паттернов, извлекаемых из сессии автоматизированного браузера: заголовки протокола передачи гипертекста, куки, сетевые запросы и структурные особенности языка разметки гипертекста и объектной модели документа. Для коррекции предсказаний модели и учета типичных комбинаций технологий применяется постобработка с помощью ассоциативных правил, выведенных из обучающей выборки. Основные результаты. Экспериментальная оценка проведена на выборке данных 8594 сайтов для распознавания 122 технологий. Модель продемонстрировала стабильно высокую точность и полноту для распространенных веб-технологий: веб-серверов, систем управления контентом и фронтендом библиотек. Гибридный подход с постобработкой обеспечил статистически значимое улучшение микро- и взвешенной меры гармонического среднего точности и полноты, сохраняя интерпретируемость результата. На фиксированном тестовом наборе (20 % данных) модель случайного леса достигла микромеры гармонического среднего точности и полноты 0,750, а гибридный подход — 0,763. Ассоциативные правила затрагивали 23,8 % предсказаний, умеренно улучшая полноту. Для распространенных технологий (Apache, Nginx, WordPress, jQuery) мера гармонического среднего точности и полноты превысила 0,840, а для ряда компонентов (Drupal, Google Cloud) достигла значений 0,960–1,000. Обсуждение. Полученные результаты показали, что подход на основе слабого обучения и поведенческого анализа может стать масштабируемым способом идентификации веб-технологий. Он эффективно дополняет традиционные сигнатурные методы при намеренном сокрытии кода или его динамическом выполнении. Представленный метод перспективен для автоматического аудита, расширения возможностей инструментов безопасности и масштабируемого исследования технологий веб-пространства. Дальнейшая работа может быть направлена на улучшение набора признаков и адаптацию системы для обнаружения новых и уникальных технологий.
Ключевые слова: идентификация веб-технологий, слабо контролируемое обучение, машинное обучение, кибербезопасность, поведенческий анализ, случайный лес, ассоциативные правила
Список литературы
Список литературы
1. Skolka P., Staicu C.-A., Pradel M. Anything to hide? studying minified and obfuscated code in the web // Proc. of the World Wide Web Conference (WWW 2019). 2019. P. 1735–1746. doi: 10.1145/3308558.3313752
2. Sarker S., Jueckstock J., Kapravelos A. Hiding in plain site: detecting JavaScript obfuscation through concealed browser API usage // Proc. of the ACM Internet Measurement Conference. 2020. P. 648–661. doi: 10.1145/3419394.3423616
3. Applebaum S., Gaber T., Ahmed A. Signature-based and machine-learning-based web application firewalls: a short survey // Procedia Computer Science. 2021. V. 189. P. 359–367. doi: 10.1016/j.procs.2021.05.105
4. Zheng R., Ma H., Wang Q., Fu J., Jiang Z. Assessing the security of campus networks: The case of seven universities // Sensors. 2021. V. 21. N 1. P. 306. doi: 10.3390/s21010306
5. Zhang J., Hsieh C.-Y., Yu Y., Zhang C., Ratner A. A survey on programmatic weak supervision // arXiv. 2022. arXiv:2202.05433. doi: 10.48550/arXiv.2202.05433
6. Agrawal R., Imieliński T., Swami A. Mining association rules between sets of items in large databases // ACM SIGMOD Record. 1993. V. 22. N 2. P. 207–216. doi: 10.1145/170036.170072
7. Berg A., Lamberg N. Automatic Fingerprinting of Websites. Technical report. 2020.
8. Shi Y., Yu W., Zhao Y., Jia Y. A web application fingerprint recognition method based on machine learning // Computer Modeling in Engineering & Sciences. 2024. V. 140. N 1. P. 887–906. doi: 10.32604/cmes.2024.046140
9. Rizzo V., Traverso S., Mellia M. Unveiling web fingerprinting in the wild via code mining and machine learning // Proceedings on Privacy Enhancing Technologies. 2021. V. 2021. N 1. P. 43–63. doi: 10.2478/popets-2021-0004
10. Qiang W., Ren K., Wu Y., Zou D., Jin H. DeepFPD: browser fingerprinting detection via deep learning with multimodal learning and attention // IEEE Transactions on Reliability. 2024. V. 73. N 3. P. 1516–1528. doi: 10.1109/TR.2024.3355233
11. Bahramali A., Bozorgi A., Houmansadr A. Realistic website fingerprinting by augmenting network traces // Proc. of the ACM SIGSAC Conference on Computer and Communications Security. 2023. P. 1035–1049. doi: 10.1145/3576915.3616639
12. Deng X., Li Q., Xu K. Robust and reliable early-stage website fingerprinting attacks via spatial-temporal distribution analysis // Proc. of the ACM SIGSAC Conference on Computer and Communications Security. 2024. P. 1997–2011. doi: 10.1145/3658644.3670272
13. Topcuoglu C., Onarlioglu K., Jabiyev B., Kirda E. Untangle: multi-layer web server fingerprinting // Proc. of the Network and Distributed System Security Symposium. 2024. doi: 10.14722/ndss.2024.24497
14. Bird S., Mishra V., Englehardt S., Willoughby R., Zeber D., Rudametkin W., Lopatka M. Actions speak louder than words: semi-supervised learning for browser fingerprinting detection // arXiv. 2020. arXiv:2003.04463. doi: 10.48550/arXiv.2003.04463
15. Lin X., Araujo F., Taylor T., Jang J., Polakis J. Fashion faux pas: implicit stylistic fingerprints for bypassing browsers’ anti-fingerprinting defenses // Proc. of the IEEE Symposium on Security and Privacy (SP). 2023. P. 987–1004. doi: 10.1109/SP46215.2023.10179437
16. Le Pochat V., Van Goethem T., Tajalizadehkhoob S., Korczyński M., Joosen W. Tranco: a research-oriented top sites ranking hardened against manipulation // Proc. of the 26th Annual Network and Distributed System Security Symposium. 2019. doi: 10.14722/ndss.2019.23386
17. Zhang M.-L., Zhou Z.-H. A review on multi-label learning algorithms // IEEE Transactions on Knowledge and Data Engineering. 2014. V. 26. N 8. P. 1819–1837. doi: 10.1109/TKDE.2013.39
18. Altulaihan E.A., Alismail A., Frikha M. A survey on web application penetration testing // Electronics. 2023. V. 12. N 5. P. 1229. doi: 10.3390/electronics12051229
19. Abusnaina A., Jang R., Khormali A., Nyang D., Mohaisen D. DFD: adversarial learning-based approach to defend against website fingerprinting // Proc. of the IEEE INFOCOM 2020 – IEEE Conference on Computer Communications. 2020. P. 2459–2468. doi: 10.1109/INFOCOM41043.2020.9155465
20. Breiman L. Random forests // Machine Learning. 2001. V. 45. N 1. P. 5–32. doi: 10.1023/A:1010933404324
21. Pedregosa F., Varoquaux G., Gramfort A., Michel V., Thirion B., Grisel O., et al. Scikit-learn: machine learning in Python // Journal of Machine Learning Research. 2011. V. 12. P. 2825–2830.
