doi: 10.17586/2226-1494-2018-18-4-623-629


УДК 004.932.2

ПРИМЕНЕНИЕ МЕТОДА ПРОСТРАНСТВЕННОЙ ИНТЕРПОЛЯЦИИ В ЗАДАЧЕ СИНТЕЗА ПРОМЕЖУТОЧНЫХ КАДРОВ ВИДЕОПОСЛЕДОВАТЕЛЬНОСТИ

Немцев Н.С., Гильмутдинов М.Р., Веселов А.И.


Читать статью полностью 
Язык статьи - русский

Ссылка для цитирования: Немцев Н.С., Гильмутдинов М.Р., Веселов А.И. Применение метода пространственной интерполяции в задаче синтеза промежуточных кадров видеопоследовательности // Научно-технический вестник информационных технологий, механики и оптики. 2018. Т. 18. № 4. С. 623–629. doi: 10.17586/2226-1494-2018-18-4-623-629

Аннотация

Предмет исследования.Проведено исследование существующих методов синтеза промежуточных кадров видеопоследовательности, базирующихся на процедуре оценки и компенсации движения. Предложен метод синтеза промежуточных кадров видеопоследовательности, базирующийся на техниках пространственной интерполяции изображений и процедуре оценки и компенсации истинного движения видеопоследовательности. Метод. В статье описан подход, используемый для синтеза промежуточных кадров видеопоследовательности, основанный на принципе оценки истинного движения и использующий процедуру пространственной интерполяции отдельных областей синтезированного кадра. В основе подхода лежит итеративная иерархическая процедура уточнения элементов векторного поля и подход для пространственной интерполяции отдельных регионов кадра, базирующийся на техниках закраски областей изображений.Основные результаты. Результаты сравнения предложенного подхода с существующими современными аналогами показали его более высокую эффективность при синтезировании кадров видеопоследовательностей, содержащих объекты со сложным характером движения. Практическая значимость. Предложенный подход может быть использован на практике в задаче кодирования видеопоследовательностей и повышения их кадровой скорости.


Ключевые слова: обработка визуальных данных, оценка истинного движения, модель истинного движения, временная интерполяция визуальных данных, пространственная интерполяция, глобальная оценка движения, ЕМ-алгоритм

Список литературы

 

1.        De Haan G., Biezen P., Huijgen H., Ojo O.A. True-motion estimation with 3-D recursive search block matching // IEEE Transactions on Circuits and Systems for Video Technology. 1993. V. 3. N 5. P. 368–379. doi: 10.1109/76.246088
2.        Haan G. Motion Estimation and Compensation. PhD thesis. Delft University of Technology, 1992.
3.        Богатырев В.А., Богатырев С.В. Резервированная передача данных через агрегированные каналы в сети реального времени // Известия высших учебных заведений. Приборостроение. 2016. Т. 59. № 9. С. 735–740. doi: 10.17586/0021-3454-2016-59-9-735-740
4.        Bogatyrev V.A. Fault tolerance of clusters configurations with direct connection of storage devices// Automatic Control and Computer Sciences. 2011.V. 45.N 6.P. 330–337.
5.        Богатырев В.А., Богатырев С.В. Критерии оптимальности многоустойчивых отказоустойчивых компьютерных систем // Научно-технический вестник Санкт-Петербургского государственного университета информационных технологий, механики и оптики. 2009.№ 5(63). С. 92–97.
6.        Богатырев В.А., Богатырев А.В. Функциональная надежность систем реального времени // Научно-технический вестник информационных технологий, механики и оптики. 2013. № 4(86). С. 150–151.
7.        Богатырев В.А., Богатырев С.В., Богатырев А.В. Оптимизация древовидной сети с резервированием коммутационных узлов и связей // Телекоммуникации. 2013. № 2. С. 42–48.
8.        Rajala S., Abdelqadar I., Bilbro G., Snyder W. Motion estimation optimization // Proc. IEEE Int. Conf. on Acoustics, Speech and Signal Processing. San Francisco, 1992. P. 253–256. doi: 10.1109/ICASSP.1992.226203
9.        Veselov A., Gilmutdinov M. Iterative hierarchical true motion estimation for temporal frame interliolation // IEEE 16th Int. Workshop on Multimedia Signal Processing (MMSP). 2014. doi: 10.1109/mmsp.2014.6958822
10.     Boykov Y., Kolmogorov V. An experimental comparison of min-cut/max-flow algorithms for energy minimization in vision // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2004. V. 26. N 9. P. 1124–1137. doi: 10.1109/TPAMI.2004.60
11.     Lakshman H., Schwarz H., Wiegand T. Adaptive motion model selection using a cubic spline based estimation framework // Proc. 17th IEEE Int. Conf. on Image Processing (ICIP). 2010. P. 805–808. doi: 10.1109/spcom.2010.5560522
12.     Веселов А.И., Гильмутдинов М.Р. Алгоритм оптимизации векторного поля в задаче временной интерполяции кадров // Информационно-управляющие системы. 2014. № 4. С. 33–41.
13.     Huang A.M., Nguyen T. Correlation-based motion vector processing with adaptive interpolation scheme for motion-compensated frame interpolation // IEEE Transactions on Image Processing. 2009. V. 18. N 4. P. 740–752. doi: 10.1109/tip.2008.2010206
14.     Dempster A.P., Laird N.M., Rubin D.B. Maximum likelihood from incomplete data via the EM algorithm // Journal of the Royal Statistical Society, Series B. 1977. V. 39.N 1. P. 1–38.
15.     Criminisi A., Perez P., Toyama K. Region filling and object removal by exemplar-based image inpainting // IEEE Transactions on Image Processing. 2004. V. 13. N 9. P. 1200–1212. doi: 10.1109/tip.2004.833105
16.     Fischler M.A., Bolles R.C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography // Readings in Computer Vision. 1987. P. 726–740. doi: 10.1016/b978-0-08-051581-6.50070-2
17.     Немцев Н.С. Оценка глобального движения объектов в задаче пространственно-временной интерполяции визуальных данных // Сборник статей XIIМеждународной научно-практической конференции InternationalInnovationResearch. 2018. Т. 1. С. 96–100.
18.     Немцев Н.С., Гильмутдинов М.Р. Классификация надежности элементов векторного поля // Научная сессия ГУАП. 2017. С. 307–314.
19.     Weiss Y., Adelson E.H. Perceptually organized EM: A framework for motion segmentation that combines information about form and motion. Technical Report N 315. Cambridge, MIT Media Laboratory Perceptual Computing Section, 1995.
20.     Quan Wang. HMRF-EM-image: implementation of the hidden Markov random field model and its expectation-maximization algorithm // arXiv:1207.3510v2 [cs.CV]. 2012.
21.     Nemcev N., Gilmutdinov M. Modified EM-algorithm for motion field refinement in motion compensated frame interpoliation // Lecture Notes in Computer Science. 2017. P. 662–670. doi: 10.1007/978-3-319-67380-6_63
22.     Фильтр преобразования кадровой скорости. MSU-FRC. Режим доступа: http://compression.graphicon.ru/video/motion_estimation/ (дата обращения 26.04.2018).
23.     Фильтр преобразования кадровой скорости MVToolsAvisynthplugin. Режим доступа: http://avisynth.org.ru/mvtools/mvtools2.html(дата обращения 26.04.2018).
24.     Jeong S.G., Lee C., Kim C.S. Motion-compensated frame interpolation based on multihypothesis motion estimation and texture optimization // IEEE Transactions on Image Processing. 2013. V. 22. N 11. P. 4497–4509. doi: 10.1109/tip.2013.2274731


Creative Commons License

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License
Информация 2001-2024 ©
Научно-технический вестник информационных технологий, механики и оптики.
Все права защищены.

Яндекс.Метрика