<div>
	Идентификация аккаунтов пользователей при помощи сравнения изображений: подход на основе pHash</div>

Олисеенко Валерий Дмитриевич, Абрамов Максим Викторович, Тулупьев Александр Львович

doi:10.17586/2226-1494-2021-21-4-562-570

2021 , ТОМ 21, НОМЕР 4 ( июль-август )

ISSN 2226-1494 (print), ISSN 2500-0373 (online)

Меню

Публикации

Главный редактор

НИКИФОРОВ
Владимир Олегович
д.т.н., профессор

Партнеры

doi: 10.17586/2226-1494-2021-21-4-562-570

УДК 004.8 004.056.53

Идентификация аккаунтов пользователей при помощи сравнения изображений: подход на основе pHash

Олисеенко О.Д., Абрамов М.В., Тулупьев А.Л.

Читать статью полностью

Язык статьи - русский

Ссылка для цитирования:

Олисеенко В.Д., Абрамов М.В., Тулупьев А.Л. Идентификация аккаунтов пользователей при помощи сравнения изображений: подход на основе pHash // Научно-технический вестник информационных технологий, механики и оптики. 2021. Т. 21, № 4. С. 562–570. doi: 10.17586/2226-1494-2021-21-4-562-570

Аннотация

Предмет исследования. Представлен новый подход к идентификации пользователей различных социальных сетей для определения аккаунтов, которые принадлежат одному человеку. Для этой цели использованы изображения, извлекаемые из цифровых следов пользователей. Новизна подхода заключается в том, что для сравнения применяются не только основные изображения профиля пользователя, но и любые элементы графического контента, публикуемые в его аккаунте. Метод. Предлагаемый подход заключается в попарном сравнении изображений по принципу «все-со-всеми», публикуемых пользователями в двух аккаунтах из разных социальных сетей для оценки вероятности принадлежности этих аккаунтов одному пользователю. Сравнение обозначенных элементов графического контента производится с использованием известного метода перцептивного хэша pHash. Основные результаты. Выполнен вычислительный эксперимент для оценки результатов, полученных с помощью предложенного подхода. По результатам эксперимента величина метрики f1-score достигла 0,886 при трех совпавших изображениях. Показано, что результаты сравнения изображений при помощи pHash могут использоваться для идентификации аккаунтов как самостоятельный подход, так и дополнять другие подходы. Предложенный алгоритм показал, что может быть применен для дополнения существующих методик компаративного анализа аккаунтов. Практическая значимость. Автоматизация разработанного подхода обеспечит формирование инструментальной основы использования метода для агрегации и возможности получения большего количества сведений о пользователях и оценки выраженности их личностных особенностей. Полученный результат может быть применен в процессе формирования цифрового двойника пользователя для дальнейшей оценки его особенностей в задачах защиты от социоинженерных атак, таргетированной рекламы, оценки кредитоспособности и других исследований, связанных с социальными сетями и науками социогуманитарного цикла.

Ключевые слова: социальные сети, идентификация пользователя, обработка изображений, pHash, data science, социоинженерные атаки

Благодарности. Работа выполнена в рамках проекта по государственному заданию СПб ФИЦ РАН СПИИРАН № 0073-2019-0003 (формирование подхода); поддержана Санкт-Петербургским государственным университетом, проект № 73555239 (реализации подхода и его апробации); при финансовой поддержке РФФИ, проект № 20-07-00839 (апробация результатов в прототипе комплекса программ).

Список литературы

Mineraud J., Mazhelis O., Su X., Tarkoma S. A gap analysis of Internet-of-Things platforms // Computer Communications. 2016. V. 89-90. P. 5–16.https://doi.org/10.1016/j.comcom.2016.03.015
Браницкий А.А., Котенко И.В. Анализ и классификация методов обнаружения сетевых атак // Труды СПИИРАН. 2016.№ 2(45). С. 207–244. https://doi.org/10.15622/sp.45.13
Parkinson S., Ward P., Wilson K., Miller J. Cyber threats facing autonomous and connected vehicles: Future challenges // IEEE Transactions on Intelligent Transportation Systems. 2017. V. 18.N 11. P. 2898–2915. https://doi.org/10.1109/TITS.2017.2665968
Du M., Wang K., Chen Y., Wang X., Sun Y. Big data privacy preserving in multi-access edge computing for heterogeneous Internet of Things // IEEE Communications Magazine. 2018. V. 56. N 8.P. 62–67. https://doi.org/10.1109/MCOM.2018.1701148
Goel S., Williams K., Dincelli E. Got phished? Internet security and human vulnerability // Journal of the Association for Information Systems. 2017. V. 18. N 1. P. 22–44.https://doi.org/10.17705/1jais.00447
Абрамов М.В. Автоматизация анализа социальных сетей для оценивания защищённости от социоинженерных атак // Автоматизация процессов управления. 2018. № 1(51). С. 34–40.
Khlobystova A., Korepanova A., Maksimov A., Tulupyeva T. An approach to quantification of relationship types between users based on the frequency of combinations of non-numeric evaluations // Advances in Intelligent Systems and Computing. 2020. V. 1156 AISC. P. 206–213. https://doi.org/10.1007/978-3-030-50097-9_21
Хлобыстова А.О., Абрамов М.В., Тулупьева Т.В., Тулупьев А.Л. Социальное влияние на пользователя в социальной сети: типы связей в оценке поведенческих рисков, связанных с социоинженерными атаками // Управленческое консультирование. 2019. № 3. С. 104–117. https://doi.org/10.22394/1726-1139-2019-3-104-117
Абрамов М.В., Тулупьева Т.В., Тулупьев А.Л. Социоинженерные атаки: социальные сети и оценки защищенности пользователей. СПб.: ГУАП, 2018. 266 с.
Азаров А.А., Абрамов М.В., Тулупьева Т.В., Тулупьев А.Л. Анализ защищённости групп пользователей информационной системы от социоинженерных атак: принцип и программная реализация // Компьютерные инструменты в образовании. 2015. № 4. C. 52–60.
Krylov B., Abramov M., Khlobystova A. Automated player activity analysis for a serious game about social engineering // Studies in Systems, Decision and Control. 2020. V. 337. P. 587–599.https://doi.org/10.1007/978-3-030-65283-8_48
Li Y., Su Z., Yang J., Gao C. Exploiting similarities of user friendship networks across social networks for user identification // Information Sciences. 2020. V. 506. P. 78–98.https://doi.org/10.1016/j.ins.2019.08.022
Корепанова А.А., Олисеенко В.Д., Абрамов М.В. Применимость коэффициентов сходства в задаче сравнения социального окружения // Международной конференция по мягким вычислениям и измерениям. 2020. Т. 1. С. 39–42.
Корепанова А.А., Олисеенко В.Д., Абрамов М.В., Тулупьев А.Л. Применение методов машинного обучения в задаче идентификации аккаунтов пользователя в двух социальных сетях // Компьютерные инструменты в образовании. 2019. № 3. С. 29–43. https://doi.org/10.32603/2071-2340-2019-3-29-43
Raad E., Chbeir R., Dipanda A. User profile matching in social networks // Proc. 13^th International Conference on Network-Based Information Systems (NbiS). 2010. P. 297–304.https://doi.org/10.1109/NBiS.2010.35
Schwartz H.A., Eichstaedt J.C., Kern M., Dziurzynski L., Ramones S.M., Adrawal M., Shah A., Kosinski M., Stillwell D., Seligman M.E.P., Ungar L.H. Personality, gender, and age in the language of social media: The open-vocabulary approach // PloS One. 2013. V. 8. N 9.P. e73791. https://doi.org/10.1371/journal.pone.0073791
Liu S.,Wang S., Zhu F., Zhang J., Krishnan R. HYDRA: Large-scale social identity linkage via heterogeneous behavior modeling // Proc. of the ACM SIGMOD International Conference on Management of Data. 2014. P. 51–62. https://doi.org/10.1145/2588555.2588559
Ozga F., Onnela J.-P., DeGruttola V. Bayesian method for inferring the impact of geographical distance on intensity of communication // Scientific Reports. 2020. V. 10. N 1. P. 11775.https://doi.org/10.1038/s41598-020-68583-1
Sokhin T., Butakov N., Nasonov D. User profiles matching for different social networks based on faces identification // Lecture Notes in Computer Science. 2019. V. 11734.P. 551–562. https://doi.org/10.1007/978-3-030-29859-3_47
Oh S.J., Benenson R., Fritz M., Schiele B. Person recognition in personal photo collections // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2020. V. 42. N 1. P. 203–220. https://doi.org/10.1109/TPAMI.2018.2877588
Ranaldi L., Zanzotto F.M. Hiding Your Face Is Not Enough: user identity linkage with image recognition // Social Network Analysis and Mining. 2020. V. 10. N 1. P. 56.
Marr D., Hildreth E. Theory of edge detection // Proceedings of the Royal Society of London. Series B. Biological Sciences. 1980. V. 207. N 1167. P. 187–217.https://doi.org/10.1098/rspb.1980.0020
Рудаков И.В., Васютович И.М. Исследование перцептивных хеш-функций изображений // Наука и образование: научное издание МГТУ им. Н.Э. Баумана. 2015. № 8. С. 269–280.https://doi.org/10.7463/0815.0800596
Zauner C. Implementation and benchmarking of perceptual image hash functions: master’s thesis. 2010.94 p.
Zauner C., Steinebach M., Hermann E. Rihamark: Perceptual image hash benchmarking // Proceedings of SPIE. 2011. V. 7880. P. 78800X. https://doi.org/10.1117/12.876617
Oliva A., Torralba A. Modeling the shape of the scene: a holistic representation of the spatial envelope // International Journal of Computer Vision. 2001. V. 42. N 3. P. 145–175. https://doi.org/10.1023/A:1011139631724
Wang X., Zhou X., Zhang Q., Xu B., Xue J. Image alignment based perceptual image hash for content authentication // Signal Processing: Image Communication. 2020. V. 80. P. 115642. https://doi.org/10.1016/j.image.2019.115642
Tuncer T., Dogan S., Abdar M., Pławiak P. A novel facial image recognition method based on perceptual hash using quintet triple binary pattern // Multimedia Tools and Applications. 2020. V. 79. N 39-40. P. 29573–29593.https://doi.org/10.1007/s11042-020-09439-8
Грузман И.С., Киричук В.С., Косых В.П., Перетягин Г.И., Спектор А.А.Цифровая обработка изображений в информационных системах: учебное пособие. Новосибирск: Изд-во НГТУ, 2002. 352 с.
Hamming R.W. Error detecting and error correcting codes // Bell System Technical Journal. 1950. V. 29. N 2. P. 147–160.https://doi.org/10.1002/j.1538-7305.1950.tb00463.x
Cook J., Ramadas V. When to consult precision-recall curves // Stata Journal. 2020. V. 20. N 1. P. 131–148.https://doi.org/10.1177/1536867X20909693

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License