doi: 10.17586/2226-1494-2021-21-4-562-570


УДК 004.8 004.056.53

Идентификация аккаунтов пользователей при помощи сравнения изображений: подход на основе pHash

Олисеенко О.Д., Абрамов М.В., Тулупьев А.Л.


Читать статью полностью 
Язык статьи - русский

Ссылка для цитирования:

Олисеенко В.Д., Абрамов М.В., Тулупьев А.Л. Идентификация аккаунтов пользователей при помощи сравнения изображений: подход на основе pHash // Научно-технический вестник информационных технологий, механики и оптики. 2021. Т. 21, № 4. С. 562–570. doi: 10.17586/2226-1494-2021-21-4-562-570



Аннотация
Предмет исследования. Представлен новый подход к идентификации пользователей различных социальных сетей для определения аккаунтов, которые принадлежат одному человеку. Для этой цели использованы изображения, извлекаемые из цифровых следов пользователей. Новизна подхода заключается в том, что для сравнения применяются не только основные изображения профиля пользователя, но и любые элементы графического контента, публикуемые в его аккаунте. Метод. Предлагаемый подход заключается в попарном сравнении изображений по принципу «все-со-всеми», публикуемых пользователями в двух аккаунтах из разных социальных сетей для оценки вероятности принадлежности этих аккаунтов одному пользователю. Сравнение обозначенных элементов графического контента производится с использованием известного метода перцептивного хэша pHash. Основные результаты. Выполнен вычислительный эксперимент для оценки результатов, полученных с помощью предложенного подхода. По результатам эксперимента величина метрики f1-score достигла 0,886 при трех совпавших изображениях. Показано, что результаты сравнения изображений при помощи pHash могут использоваться для идентификации аккаунтов как самостоятельный подход, так и дополнять другие подходы. Предложенный алгоритм показал, что может быть применен для дополнения существующих методик компаративного анализа аккаунтов. Практическая значимость. Автоматизация разработанного подхода обеспечит формирование инструментальной основы использования метода для агрегации и возможности получения большего количества сведений о пользователях и оценки выраженности их личностных особенностей. Полученный результат может быть применен в процессе формирования цифрового двойника пользователя для дальнейшей оценки его особенностей в задачах защиты от социоинженерных атак, таргетированной рекламы, оценки кредитоспособности и других исследований, связанных с социальными сетями и науками социогуманитарного цикла.

Ключевые слова: социальные сети, идентификация пользователя, обработка изображений, pHash, data science, социоинженерные атаки

Благодарности. Работа выполнена в рамках проекта по государственному заданию СПб ФИЦ РАН СПИИРАН № 0073-2019-0003 (формирование подхода); поддержана Санкт-Петербургским государственным университетом, проект № 73555239 (реализации подхода и его апробации); при финансовой поддержке РФФИ, проект № 20-07-00839 (апробация результатов в прототипе комплекса программ).

Список литературы
  1. Mineraud J., Mazhelis O., Su X., Tarkoma S. A gap analysis of Internet-of-Things platforms // Computer Communications. 2016. V. 89-90. P. 5–16.https://doi.org/10.1016/j.comcom.2016.03.015
  2. Браницкий А.А., Котенко И.В. Анализ и классификация методов обнаружения сетевых атак // Труды СПИИРАН. 2016.№ 2(45). С. 207–244. https://doi.org/10.15622/sp.45.13
  3. Parkinson S., Ward P., Wilson K., Miller J. Cyber threats facing autonomous and connected vehicles: Future challenges // IEEE Transactions on Intelligent Transportation Systems. 2017. V. 18.N 11. P. 2898–2915. https://doi.org/10.1109/TITS.2017.2665968
  4. Du M., Wang K., Chen Y., Wang X., Sun Y. Big data privacy preserving in multi-access edge computing for heterogeneous Internet of Things // IEEE Communications Magazine. 2018. V. 56. N 8.P. 62–67.  https://doi.org/10.1109/MCOM.2018.1701148
  5. Goel S., Williams K., Dincelli E. Got phished? Internet security and human vulnerability // Journal of the Association for Information Systems. 2017. V. 18. N 1. P. 22–44.https://doi.org/10.17705/1jais.00447
  6. Абрамов М.В. Автоматизация анализа социальных сетей для оценивания защищённости от социоинженерных атак // Автоматизация процессов управления. 2018. № 1(51). С. 34–40.
  7. Khlobystova A., Korepanova A., Maksimov A., Tulupyeva T. An approach to quantification of relationship types between users based on the frequency of combinations of non-numeric evaluations // Advances in Intelligent Systems and Computing. 2020. V. 1156 AISC. P. 206–213. https://doi.org/10.1007/978-3-030-50097-9_21
  8. Хлобыстова А.О., Абрамов М.В., Тулупьева Т.В., Тулупьев А.Л. Социальное влияние на пользователя в социальной сети: типы связей в оценке поведенческих рисков, связанных с социоинженерными атаками // Управленческое консультирование. 2019. № 3. С. 104–117. https://doi.org/10.22394/1726-1139-2019-3-104-117
  9. Абрамов М.В., Тулупьева Т.В., Тулупьев А.Л. Социоинженерные атаки: социальные сети и оценки защищенности пользователей. СПб.: ГУАП, 2018. 266 с.
  10. Азаров А.А., Абрамов М.В., Тулупьева Т.В., Тулупьев А.Л. Анализ защищённости групп пользователей информационной системы от социоинженерных атак: принцип и программная реализация // Компьютерные инструменты в образовании. 2015. № 4. C. 52–60.
  11. Krylov B., Abramov M., Khlobystova A. Automated player activity analysis for a serious game about social engineering // Studies in Systems, Decision and Control. 2020. V. 337. P. 587–599.https://doi.org/10.1007/978-3-030-65283-8_48
  12. Li Y., Su Z., Yang J., Gao C. Exploiting similarities of user friendship networks across social networks for user identification // Information Sciences. 2020. V. 506. P. 78–98.https://doi.org/10.1016/j.ins.2019.08.022
  13. Корепанова А.А., Олисеенко В.Д., Абрамов М.В. Применимость коэффициентов сходства в задаче сравнения социального окружения // Международной конференция по мягким вычислениям и измерениям. 2020. Т. 1. С. 39–42.
  14. Корепанова А.А., Олисеенко В.Д., Абрамов М.В., Тулупьев А.Л. Применение методов машинного обучения в задаче идентификации аккаунтов пользователя в двух социальных сетях // Компьютерные инструменты в образовании. 2019. № 3. С. 29–43. https://doi.org/10.32603/2071-2340-2019-3-29-43
  15. Raad E., Chbeir R., Dipanda A. User profile matching in social networks // Proc. 13th International Conference on Network-Based Information Systems (NbiS). 2010. P. 297–304.https://doi.org/10.1109/NBiS.2010.35
  16. Schwartz H.A., Eichstaedt J.C., Kern M., Dziurzynski L., Ramones S.M., Adrawal M., Shah A., Kosinski M., Stillwell D., Seligman M.E.P., Ungar L.H. Personality, gender, and age in the language of social media: The open-vocabulary approach // PloS One. 2013. V. 8. N 9.P. e73791. https://doi.org/10.1371/journal.pone.0073791
  17. Liu S.,Wang S., Zhu F., Zhang J., Krishnan R. HYDRA: Large-scale social identity linkage via heterogeneous behavior modeling // Proc. of the ACM SIGMOD International Conference on Management of Data. 2014. P. 51–62. https://doi.org/10.1145/2588555.2588559
  18. Ozga F., Onnela J.-P., DeGruttola V. Bayesian method for inferring the impact of geographical distance on intensity of communication // Scientific Reports. 2020. V. 10. N 1. P. 11775.https://doi.org/10.1038/s41598-020-68583-1
  19. Sokhin T., Butakov N., Nasonov D. User profiles matching for different social networks based on faces identification // Lecture Notes in Computer Science. 2019. V. 11734.P. 551–562. https://doi.org/10.1007/978-3-030-29859-3_47
  20. Oh S.J., Benenson R., Fritz M., Schiele B. Person recognition in personal photo collections // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2020. V. 42. N 1. P. 203–220. https://doi.org/10.1109/TPAMI.2018.2877588
  21. Ranaldi L., Zanzotto F.M. Hiding Your Face Is Not Enough: user identity linkage with image recognition // Social Network Analysis and Mining. 2020. V. 10. N 1. P. 56. 
  22. Marr D., Hildreth E. Theory of edge detection // Proceedings of the Royal Society of London. Series B. Biological Sciences. 1980. V. 207. N 1167. P. 187–217.https://doi.org/10.1098/rspb.1980.0020
  23. Рудаков И.В., Васютович И.М. Исследование перцептивных хеш-функций изображений // Наука и образование: научное издание МГТУ им. Н.Э. Баумана. 2015. № 8. С. 269–280.https://doi.org/10.7463/0815.0800596
  24. Zauner C. Implementation and benchmarking of perceptual image hash functions: master’s thesis. 2010.94 p.
  25. Zauner C., Steinebach M., Hermann E. Rihamark: Perceptual image hash benchmarking // Proceedings of SPIE. 2011. V. 7880. P. 78800X. https://doi.org/10.1117/12.876617
  26. Oliva A., Torralba A. Modeling the shape of the scene: a holistic representation of the spatial envelope // International Journal of Computer Vision. 2001. V. 42. N 3. P. 145–175. https://doi.org/10.1023/A:1011139631724
  27. Wang X., Zhou X., Zhang Q., Xu B., Xue J. Image alignment based perceptual image hash for content authentication // Signal Processing: Image Communication. 2020. V. 80. P. 115642. https://doi.org/10.1016/j.image.2019.115642
  28. Tuncer T., Dogan S., Abdar M., Pławiak P. A novel facial image recognition method based on perceptual hash using quintet triple binary pattern // Multimedia Tools and Applications. 2020. V. 79. N 39-40. P. 29573–29593.https://doi.org/10.1007/s11042-020-09439-8
  29. Грузман И.С., Киричук В.С., Косых В.П., Перетягин Г.И., Спектор А.А.Цифровая обработка изображений в информационных системах: учебное пособие. Новосибирск: Изд-во НГТУ, 2002. 352 с.
  30. Hamming R.W. Error detecting and error correcting codes // Bell System Technical Journal. 1950. V. 29. N 2. P. 147–160.https://doi.org/10.1002/j.1538-7305.1950.tb00463.x
  31. Cook J., Ramadas V. When to consult precision-recall curves // Stata Journal. 2020. V. 20. N 1. P. 131–148.https://doi.org/10.1177/1536867X20909693


Creative Commons License

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License
Информация 2001-2021 ©
Научно-технический вестник информационных технологий, механики и оптики.
Все права защищены.

Яндекс.Метрика