<div>
	Сверхвысокое разрешение изображения магнитно-резонансной томографии головного мозга с использованием дискретного косинусного преобразования и сверточной</div>
<div>
	нейронной сети</div>

Сингх Пуджа, Ганотра Динеш

doi:10.17586/2226-1494-2023-23-4-734-742

2023 , ТОМ 23, НОМЕР 4 ( июль-август )

ISSN 2226-1494 (print), ISSN 2500-0373 (online)

Меню

Публикации

Главный редактор

НИКИФОРОВ
Владимир Олегович
д.т.н., профессор

Партнеры

doi: 10.17586/2226-1494-2023-23-4-734-742

УДК 004.032.26

Сверхвысокое разрешение изображения магнитно-резонансной томографии головного мозга с использованием дискретного косинусного преобразования и сверточной

нейронной сети

Сингх П., Ганотра Д.

Читать статью полностью

Язык статьи - английский

Ссылка для цитирования:

Сингх П., Ганотра Д. Сверхвысокое разрешение изображения магнитно-резонансной томографии головного мозга с использованием дискретного косинусного преобразования и сверточной нейронной сети // Научно-технический вестник информационных технологий, механики и оптики. 2023. Т. 23, № 4. С. 734–742 (на англ. яз.). doi: 10.17586/2226-1494-2023-23-4-734-742

Аннотация

Изображения с высоким разрешением (High Resolution, HR) имеют широкое применение, например при проведении видеоконференций, дистанционного зондирования, медицинской визуализации и других. С использованием алгоритмов сверхвысокого разрешения появилась возможность решить несколько проблем магнитно-резонансной томографии изображений мозга, связанных с низкой чувствительностью, значительным частотным шумом, а также низким разрешением. Чтобы устранить данные проблемы, предложен метод улучшения качества сингулярного кадра на основе сверточной нейронной сети (Convolutional Neural Network, CNN) с дискретным косинусным преобразованием (Discrete Cosine Transform, DCT). Метод состоит из двух этапов, включающих обучение и тестирование. На этапе обучения изображения HR и низкого разрешения (Low Resolution, LR) используются в качестве входных данных и проходят предварительную обработку для создания блоков изображений. Для извлечения признаков из блоков LR и HR применены гистограмма и DCT. Извлеченным признакам присваивается идентификатор класса. CNN извлекает функции DCT, назначает идентификатор класса и получает свой экстрактор функций для окончательного ввода. Входное изображение LR на этапе тестирования повторно делится на блоки [2 × 2], с помощью гистограммы оценивается каждый блок и функции DCT. Каждый вектор признаков передается в нейронную сеть, полученные результаты сравниваются с набором векторов признаков, которые были записаны, в дополнение к идентификатору класса и назначены определенному вектору. Для генерации изображения сверхвысокого разрешения с изображением LR соответствующий блок HR заменяется на блок LR. Полученные результаты показали, что эффективность предложенного метода исходного набора данных достигла значений отношения пикового сигнала к шуму (PSNR) и среднеквадратичной ошибки (RMSE) 22,4 и 19,5 соответственно. Второй набор данных показал значения PSNR и RMSE, равные 20,1 и 25,5, а третий набор — 45,7 и 12,3. Таким образом, представленный метод работает лучше, чем нейронная сеть пространственной модуляции канала сверхвысокого разрешения и метод повышения разрешения.

Ключевые слова: высокое разрешение, низкое разрешение, дискретное косинусное преобразование, повышение разрешения, среднеквадратическая ошибка, PSNR, сверточная нейронная сеть

Список литературы

Chen Q., Huang J., Feris R., Brown L.M., Dong J., Yan S. Deep domain adaptation for describing people based on fine-grained clothing attributes // Proc. of the 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2015. P. 5315–5324. https://doi.org/10.1109/cvpr.2015.7299169
Denton E.L., Chintala S., Fergus R. Deep generative image models using a Laplacian pyramid of adversarial networks // Advances in Neural Information Processing Systems. 2015. V. 28.
Cui Z., Chang H., Shan S., Zhong B., Chen X. Deep network cascade for image super-resolution // Lecture Notes in Computer Science. 2014. V. 8693. P. 49–64. https://doi.org/10.1007/978-3-319-10602-1_4
Farhadifard F., Abar E., Nazzal M., Ozkaramanh H. Single image super resolution based on sparse representation via directionally structured dictionaries // Proc. of the 22^nd Signal Processing and Communications Applications Conference (SIU). IEEE, 2014. P. 1718–1721. https://doi.org/10.1109/siu.2014.6830580
Ahmed J., Memon R.A., Waqas M., Mangrio M.I., Ali S. Selective sparse coding based coupled dictionary learning algorithm for single image super-resolution // Proc. of the 2018 International Conference on Computing, Mathematics and Engineering Technologies (iCoMET). 2018. P. 1–5. https://doi.org/10.1109/icomet.2018.8346357
Choi J.H., Kim J.H., Cheon M., Lee J.S. Deep learning-based image super-resolution considering quantitative and perceptual quality // Neurocomputing. 2020. V. 398. P. 347–59. https://doi.org/10.1016/j.neucom.2019.06.103
Dong C., Loy C.C., He K., Tang X. Image super-resolution using deep convolutional networks // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2016. V. 38. N 2. P. 295–307. https://doi.org/10.1109/TPAMI.2015.2439281
Dong C., Loy C.C., Tang X. Accelerating the super-resolution convolutional neural network // Lecture Notes in Computer Science. 2016. V. 9906. P. 391–407. https://doi.org/10.1007/978-3-319-46475-6_25
Ayas S., Ekinci M. Single image super resolution using dictionary learning and sparse coding with multi-scale and multi-directional Gabor feature representation // Information Sciences. 2020. V. 512. P. 1264–1278. https://doi.org/10.1016/j.ins.2019.10.040
Gu S., Zuo W., Xie Q., Meng D., Feng X., Zhang L. Convolutional sparse coding for image super-resolution // Proc. of the IEEE International Conference on Computer Vision (ICCV). 2015. P. 1823–1831. https://doi.org/10.1109/iccv.2015.212
Dosovitskiy A., Springenberg J.T., Brox T. Learning to generate chairs with convolutional neural networks // Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2015. P. 1538–1546. https://doi.org/10.1109/cvpr.2015.7298761
Mathieu M., Couprie C., LeCun Y. Deep multi-scale video prediction beyond mean square error // Proc. of the 4^th International Conference on Learning Representations (ICLR). 2016.
Alec R., Luke M., Soumith C. Unsupervised representation learning with deep convolutional generative adversarial networks // Proc. of the International Conference on Learning Representations (ICLR). 2015. P. 1–16.
Dong C., Loy C.C., He K., Tang X. Learning a deep convolutional network for image super-resolution // Lecture Notes in Computer Science. 2014. V. 8692. P. 184–199. https://doi.org/10.1007/978-3-319-10593-2_13
Aharon M., Elad M., Bruckstein A. K-SVD: An algorithm for designing overcomplete dictionaries for sparse representation // IEEE Transactions on Signal Processing. 2006. V. 54. N 11. P. 4311–4322. https://doi.org/10.1109/tsp.2006.881199
Rueda A., Malpica N., Romero E. Single-image super-resolution of brain MR images using overcomplete dictionaries // Medical Image Analysis. 2013. V. 17. N 1. P. 113–132. https://doi.org/10.1016/j.media.2012.09.003
Wang H., Jiang K. Research on image super-resolution reconstruction based on transformer // Proc. of the 2021 IEEE International Conference on Artificial Intelligence and Industrial Design (AIID). 2021. P. 226–230. https://doi.org/10.1109/aiid51893.2021.9456580
Liu H., Guo Q., Wang G., Gupta B.B., Zhang C. Medical image resolution enhancement for healthcare using nonlocal self-similarity and low-rank prior // Multimedia Tools and Applications. 2019. V. 78. N 7. P. 9033–9050. https://doi.org/10.1007/s11042-017-5277-6
Liu J., Malekzadeh M., Mirian N., Song T.A., Liu C., Dutta J. Artificial intelligence-based image enhancement in PET imaging: Noise reduction and resolution enhancement // PET Clinics. 2021. V. 16. N 4. P. 553–576. https://doi.org/10.1016/j.cpet.2021.06.005
Dabbaghchian S., Ghaemmaghami M.P., Aghagolzadeh A. Feature extraction using discrete cosine transform and discrimination power analysis with a face recognition technology // Pattern Recognition. 2010. V. 43. N 4. P. 1431–1440. https://doi.org/10.1016/j.patcog.2009.11.001
Liew W.S., Tang T.B., Lin C.H., Lu C.K. Automatic colonic polyp detection using integration of modified deep residual convolutional neural network and ensemble learning approaches // Computer Methods and Programs in Biomedicine. 2021. V. 206. P. 106114. https://doi.org/10.1016/j.cmpb.2021.106114
Timofte R., De V., Van Gool L. Anchored neighborhood regression for fast example-based super-resolution // Proc. of the IEEE International Conference on Computer Vision. 2013. P. 1920–1927. https://doi.org/10.1109/iccv.2013.241
Haris M., Shakhnarovich G., Ukita N. Deep back-projectinetworks for single image super-resolution // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2021. V. 43. N 12. P. 4323–4337. https://doi.org/10.1109/tpami.2020.3002836
Niu B., Wen W., Ren W., Zhang X., Yang L., Wang S., Zhang K., Cao X., Shen H. Single image super-resolution via a holistic attention network // Lecture Notes in Computer Science. 2020. V. 12357. P. 191–207. https://doi.org/10.1007/978-3-030-58610-2_12
Lan R., Sun L., Liu Z., Lu H., Pang C., Luo X. MADNet: a fast and lightweight network for single-image super resolution // IEEE Transactions on Cybernetics. 2021. V. 51. N 3. P. 1443–1453. https://doi.org/10.1109/tcyb.2020.2970104

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License