Язык статьи - русский
Ссылка для цитирования: Кухарев Г.А., Матвеев Ю.Н., Олейник А.Л. Алгоритмы взаимной трансформации изображений для систем обработки и поиска визуальной информации // Научно-технический вестник информационных технологий, механики и оптики. 2017. Т. 17. № 1. С. 62–74. doi: 10.17586/2226-1494-2017-17-1-62-74
Аннотация
Предмет исследования. Исследованы методы и алгоритмы взаимной трансформации связанных пар изображений для расширения возможностей технологий кросс-модального мультимедийного поиска (CMMR). Подробно рассмотрена задача взаимного преобразования изображений лиц различной природы (например, фотографий и рисунков). Подобная задача широко представлена на практике. Исследования в данной области основаны на существующих базах данных. Предложенные в настоящей работе алгоритмы могут быть применены для произвольных пар связанных изображений за счет унифицированного математического описания.Метод. Предложены три алгоритма преобразования изображений. Первый алгоритм основан на анализе главных компонент и преобразовании Карунена–Лоэва (1DPCA/1DKLT). В отличие от известного аналога, предложенный алгоритм не использует обучающую выборку на этапе трансформации. Второй алгоритм предполагает генерацию популяции изображений. Третий алгоритм реализует трансформацию на основе двумерного анализа главных компонент и преобразования Карунена–Лоэва (2DPCA/2DKLT). Основные результаты. Проведенные эксперименты по трансформации изображений лиц и генерации их популяций позволили выявить особенности каждого из алгоритмов. Первый алгоритм позволяет строить точную и устойчивую модель перехода в рамках заданного набора изображений, второй алгоритм дополняет существующие базы новыми изображениями, а третий алгоритм выполняет трансформацию за пределами базы обучения. Практическая значимость. С учетом анализа особенностей каждого из предложенных алгоритмов даны рекомендации по их применению. Возможные сценарии включают построение моделей перехода для связанных пар изображений, их взаимную трансформацию в рамках базы и за ее пределами, а также генерацию популяций с целью повышения репрезентативности существующих наборов данных. Предложенные алгоритмы могут быть применены для повышения надежности распознавания лиц по изображениям различной физической природы, а также для решения широкого спектра других задач кросс-модального мультимедийного поиска.
Ключевые слова: кросс-модальный мультимедийный поиск, метод главных компонент, изображения лиц, скетч, фоторобот
Благодарности. Работа выполнена при государственной финансовой поддержке ведущих университетов Российской Федерации (субсидия 074-U01).
Список литературы
1. Kato T. Database architecture for content-based image retrieval // Proceedings of SPIE. 1992. V. 1662. P. 112–123.
2. Wang K., Yin Q., Wang W., Wu S., Wang L. A comprehensive survey on cross-modal retrieval // ArXiv Preprint. ArXiv160706215. 2016. 20 p.
3. Liao S., Yi D., Lei Z., Qin R., Li S.Z. Heterogeneous face recognition from local structures of normalized appearance // Lecture Notes in Computer Science. 2009. V. 5558. P. 209–218. doi:
10.1007/978-3-642-01793-3_22
4. Guo G. Heterogeneous face recognition: an emerging topic in biometrics // Intel Technology Journal. 2014. V. 18. N 4. P. 80–97.
5. Kukharev G.A., Shchegoleva N.L., Kamenskaya E.I. Representation and comparison methods for semantically different images // Pattern Recognition and Image Analysis. 2014. V. 24. N 4. P. 518–529. doi:
10.1134/S1054661814040105
6. Tang X., Wang X. Face sketch recognition // IEEE Transactions on Circuits and Systems for Video Technology. 2004. V. 14. N 1. P. 50–57. doi:
10.1109/TCSVT.2003.818353
7. Kukharev G., Oleinik A. Face photo-sketch transformation and population generation // Lecture Notes in Computer Science. 2016. V. 9972. P. 329–340. doi:
10.1007/978-3-319-46418-3_29
8. Кухарев Г.А., Каменская Е.И., Матвеев Ю.Н., Щеголева Н.Л. Методы обработки и распознавания изображений лиц в задачах биометрии / под ред. М.В. Хитрова. СПб.: Политехника, 2013. 388 с.
9. CUHKFaceSketchDatabase[Электронный ресурс]. Режим доступа: http://mmlab.ie.cuhk.edu.hk/facesketch.html, свободный. Яз. англ. (датаобращения16.04.2016).
10. CUHK Face Sketch FERET Database [Электронныйресурс]. Режим доступа: http://mmlab.ie.cuhk.edu.hk/cufsf/, свободный. Яз. англ. (датаобращения16.04.2016).
11. Chen H., Liu Z., Rose C., Xu Y., Shum H.Y., Salesin D. Example-based composite sketching of human portraits // Proc. 3rd Int. Symposium on Non-Photorealistic Animation and Rendering. Annecy, France, 2004. P. 95–102.
12. Иванова А. Собака инстинктивно подражает человеку. Собаки, похожие на хозяев. Фото [Электронный ресурс]. 2010. URL: http://zdravkom.ru/nauka_i_obrazovanie/sobaki_kopiruyt_hozyaev(дата доступа: 20.11.2016).
13. Щеголева Н.Л., Кухарев Г.А. Способ автоматической генерации скетчей и система для его осуществления. Патент РФ № 2541132. Бюл. 2015. №4.
14. Zhang Y., Ellyson S., Zone A., Gangam P., Sullins J., McCullough C., Canavan S., Yin L. Recognizingface sketches by a large number of human subjects: a perception-based study for facial distinctiveness // Proc. IEEE Int. Conf. on Automatic Face and Gesture Recognition and Workshops (FG 2011). Santa Barbara, USA, 2011. P. 707–712. doi:
10.1109/FG.2011.5771335
15. Kukharev G.A., Matveev Y.N., Shchegoleva N.L. New solutions for face photo retrieval based on sketches // Pattern Recognition and Image Analysis. 2016. V. 26. N 1. P. 165–175. doi:
10.1134/S1054661816010144
16. Кухарев Г.А., Матвеев Ю.Н., Форчманьски П. Поиск людей по фотороботам: методы, системы и практические решения // Научно-технический вестник информационных технологий, механики и оптики. 2015. Т. 15. № 4. С. 640–653. doi:
10.17586/2226-1494-2015-15-4-640-653
17. Tsapatsoulis N., Alexopoulos V., Kollias S. A vector based approximation of KLT and its application to face recognition // Proc. 9th European Signal Processing Conference EUSIPCO-98, Island of Rhodes, Greece, 1998. V. 1581. P. 1–4.
18. Shchegoleva N.L., Kukharev G.A. Application of two-dimensional principal component analysis for recognition of face images // Pattern Recognition and Image Analysis. 2010. V. 20. N 4. P. 513–527. doi:
10.1134/S1054661810040127
19. Kukharev G., Forczmanski P. Data dimensionality reduction for face recognition // Machine Graphics and Vision. 2004. V. 13. N 1-2. P. 99–121.
20. Kukharev G., Tujaka A., Forczmanski P. Face recognition using two-dimensional CCA and PLS // International Journal of Biometrics. 2011. V. 3. N 4. P. 300–321. doi:
10.1504/IJBM.2011.042814