ПРИМЕНЕНИЕ МЕТОДА ПРОСТРАНСТВЕННОЙ ИНТЕРПОЛЯЦИИ 
В ЗАДАЧЕ СИНТЕЗА ПРОМЕЖУТОЧНЫХ КАДРОВ 
ВИДЕОПОСЛЕДОВАТЕЛЬНОСТИ

Немцев Николай Сергеевич , Гильмутдинов Марат Равилевич, Веселов Антон Игоревич

doi:10.17586/2226-1494-2018-18-4-623-629

2018 , ТОМ 18, НОМЕР 4 ( июль-август )

ISSN 2226-1494 (print), ISSN 2500-0373 (online)

Меню

Публикации

Главный редактор

НИКИФОРОВ
Владимир Олегович
д.т.н., профессор

Партнеры

doi: 10.17586/2226-1494-2018-18-4-623-629

УДК 004.932.2

ПРИМЕНЕНИЕ МЕТОДА ПРОСТРАНСТВЕННОЙ ИНТЕРПОЛЯЦИИ В ЗАДАЧЕ СИНТЕЗА ПРОМЕЖУТОЧНЫХ КАДРОВ ВИДЕОПОСЛЕДОВАТЕЛЬНОСТИ

Немцев Н.С., Гильмутдинов М.Р., Веселов А.И.

Читать статью полностью

Язык статьи - русский

Ссылка для цитирования: Немцев Н.С., Гильмутдинов М.Р., Веселов А.И. Применение метода пространственной интерполяции в задаче синтеза промежуточных кадров видеопоследовательности // Научно-технический вестник информационных технологий, механики и оптики. 2018. Т. 18. № 4. С. 623–629. doi: 10.17586/2226-1494-2018-18-4-623-629

Аннотация

Предмет исследования.Проведено исследование существующих методов синтеза промежуточных кадров видеопоследовательности, базирующихся на процедуре оценки и компенсации движения. Предложен метод синтеза промежуточных кадров видеопоследовательности, базирующийся на техниках пространственной интерполяции изображений и процедуре оценки и компенсации истинного движения видеопоследовательности. Метод. В статье описан подход, используемый для синтеза промежуточных кадров видеопоследовательности, основанный на принципе оценки истинного движения и использующий процедуру пространственной интерполяции отдельных областей синтезированного кадра. В основе подхода лежит итеративная иерархическая процедура уточнения элементов векторного поля и подход для пространственной интерполяции отдельных регионов кадра, базирующийся на техниках закраски областей изображений.Основные результаты. Результаты сравнения предложенного подхода с существующими современными аналогами показали его более высокую эффективность при синтезировании кадров видеопоследовательностей, содержащих объекты со сложным характером движения. Практическая значимость. Предложенный подход может быть использован на практике в задаче кодирования видеопоследовательностей и повышения их кадровой скорости.

Ключевые слова: обработка визуальных данных, оценка истинного движения, модель истинного движения, временная интерполяция визуальных данных, пространственная интерполяция, глобальная оценка движения, ЕМ-алгоритм

Список литературы

1. De Haan G., Biezen P., Huijgen H., Ojo O.A. True-motion estimation with 3-D recursive search block matching // IEEE Transactions on Circuits and Systems for Video Technology. 1993. V. 3. N 5. P. 368–379. doi: 10.1109/76.246088

2. Haan G. Motion Estimation and Compensation. PhD thesis. Delft University of Technology, 1992.

3. Богатырев В.А., Богатырев С.В. Резервированная передача данных через агрегированные каналы в сети реального времени // Известия высших учебных заведений. Приборостроение. 2016. Т. 59. № 9. С. 735–740. doi: 10.17586/0021-3454-2016-59-9-735-740

4. Bogatyrev V.A. Fault tolerance of clusters configurations with direct connection of storage devices// Automatic Control and Computer Sciences. 2011.V. 45.N 6.P. 330–337.

5. Богатырев В.А., Богатырев С.В. Критерии оптимальности многоустойчивых отказоустойчивых компьютерных систем // Научно-технический вестник Санкт-Петербургского государственного университета информационных технологий, механики и оптики. 2009.№ 5(63). С. 92–97.

6. Богатырев В.А., Богатырев А.В. Функциональная надежность систем реального времени // Научно-технический вестник информационных технологий, механики и оптики. 2013. № 4(86). С. 150–151.

7. Богатырев В.А., Богатырев С.В., Богатырев А.В. Оптимизация древовидной сети с резервированием коммутационных узлов и связей // Телекоммуникации. 2013. № 2. С. 42–48.

8. Rajala S., Abdelqadar I., Bilbro G., Snyder W. Motion estimation optimization // Proc. IEEE Int. Conf. on Acoustics, Speech and Signal Processing. San Francisco, 1992. P. 253–256. doi: 10.1109/ICASSP.1992.226203

9. Veselov A., Gilmutdinov M. Iterative hierarchical true motion estimation for temporal frame interliolation // IEEE 16^th Int. Workshop on Multimedia Signal Processing (MMSP). 2014. doi: 10.1109/mmsp.2014.6958822

10. Boykov Y., Kolmogorov V. An experimental comparison of min-cut/max-flow algorithms for energy minimization in vision // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2004. V. 26. N 9. P. 1124–1137. doi: 10.1109/TPAMI.2004.60

11. Lakshman H., Schwarz H., Wiegand T. Adaptive motion model selection using a cubic spline based estimation framework // Proc. 17^th IEEE Int. Conf. on Image Processing (ICIP). 2010. P. 805–808. doi: 10.1109/spcom.2010.5560522

12. Веселов А.И., Гильмутдинов М.Р. Алгоритм оптимизации векторного поля в задаче временной интерполяции кадров // Информационно-управляющие системы. 2014. № 4. С. 33–41.

13. Huang A.M., Nguyen T. Correlation-based motion vector processing with adaptive interpolation scheme for motion-compensated frame interpolation // IEEE Transactions on Image Processing. 2009. V. 18. N 4. P. 740–752. doi: 10.1109/tip.2008.2010206

14. Dempster A.P., Laird N.M., Rubin D.B. Maximum likelihood from incomplete data via the EM algorithm // Journal of the Royal Statistical Society, Series B. 1977. V. 39.N 1. P. 1–38.

15. Criminisi A., Perez P., Toyama K. Region filling and object removal by exemplar-based image inpainting // IEEE Transactions on Image Processing. 2004. V. 13. N 9. P. 1200–1212. doi: 10.1109/tip.2004.833105

16. Fischler M.A., Bolles R.C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography // Readings in Computer Vision. 1987. P. 726–740. doi: 10.1016/b978-0-08-051581-6.50070-2

17. Немцев Н.С. Оценка глобального движения объектов в задаче пространственно-временной интерполяции визуальных данных // Сборник статей XIIМеждународной научно-практической конференции InternationalInnovationResearch. 2018. Т. 1. С. 96–100.

18. Немцев Н.С., Гильмутдинов М.Р. Классификация надежности элементов векторного поля // Научная сессия ГУАП. 2017. С. 307–314.

19. Weiss Y., Adelson E.H. Perceptually organized EM: A framework for motion segmentation that combines information about form and motion. Technical Report N 315. Cambridge, MIT Media Laboratory Perceptual Computing Section, 1995.

20. Quan Wang. HMRF-EM-image: implementation of the hidden Markov random field model and its expectation-maximization algorithm // arXiv:1207.3510v2 [cs.CV]. 2012.

21. Nemcev N., Gilmutdinov M. Modified EM-algorithm for motion field refinement in motion compensated frame interpoliation // Lecture Notes in Computer Science. 2017. P. 662–670. doi: 10.1007/978-3-319-67380-6_63

22. Фильтр преобразования кадровой скорости. MSU-FRC. Режим доступа: http://compression.graphicon.ru/video/motion_estimation/ (дата обращения 26.04.2018).

23. Фильтр преобразования кадровой скорости MVToolsAvisynthplugin. Режим доступа: http://avisynth.org.ru/mvtools/mvtools2.html(дата обращения 26.04.2018).

24. Jeong S.G., Lee C., Kim C.S. Motion-compensated frame interpolation based on multihypothesis motion estimation and texture optimization // IEEE Transactions on Image Processing. 2013. V. 22. N 11. P. 4497–4509. doi: 10.1109/tip.2013.2274731

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License