Меню
Публикации
2024
2023
2022
2021
2020
2019
2018
2017
2016
2015
2014
2013
2012
2011
2010
2009
2008
2007
2006
2005
2004
2003
2002
2001
Главный редактор
![](/pic/nikiforov.jpg)
НИКИФОРОВ
Владимир Олегович
д.т.н., профессор
Партнеры
doi: 10.17586/2226-1494-2023-23-4-734-742
УДК 004.032.26
Сверхвысокое разрешение изображения магнитно-резонансной томографии головного мозга с использованием дискретного косинусного преобразования и сверточной
нейронной сети
Читать статью полностью
![](/images/pdf.png)
Язык статьи - английский
Ссылка для цитирования:
Аннотация
Ссылка для цитирования:
Сингх П., Ганотра Д. Сверхвысокое разрешение изображения магнитно-резонансной томографии головного мозга с использованием дискретного косинусного преобразования и сверточной нейронной сети // Научно-технический вестник информационных технологий, механики и оптики. 2023. Т. 23, № 4. С. 734–742 (на англ. яз.). doi: 10.17586/2226-1494-2023-23-4-734-742
Аннотация
Изображения с высоким разрешением (High Resolution, HR) имеют широкое применение, например при проведении видеоконференций, дистанционного зондирования, медицинской визуализации и других. С использованием алгоритмов сверхвысокого разрешения появилась возможность решить несколько проблем магнитно-резонансной томографии изображений мозга, связанных с низкой чувствительностью, значительным частотным шумом, а также низким разрешением. Чтобы устранить данные проблемы, предложен метод улучшения качества сингулярного кадра на основе сверточной нейронной сети (Convolutional Neural Network, CNN) с дискретным косинусным преобразованием (Discrete Cosine Transform, DCT). Метод состоит из двух этапов, включающих обучение и тестирование. На этапе обучения изображения HR и низкого разрешения (Low Resolution, LR) используются в качестве входных данных и проходят предварительную обработку для создания блоков изображений. Для извлечения признаков из блоков LR и HR применены гистограмма и DCT. Извлеченным признакам присваивается идентификатор класса. CNN извлекает функции DCT, назначает идентификатор класса и получает свой экстрактор функций для окончательного ввода. Входное изображение LR на этапе тестирования повторно делится на блоки [2 × 2], с помощью гистограммы оценивается каждый блок и функции DCT. Каждый вектор признаков передается в нейронную сеть, полученные результаты сравниваются с набором векторов признаков, которые были записаны, в дополнение к идентификатору класса и назначены определенному вектору. Для генерации изображения сверхвысокого разрешения с изображением LR соответствующий блок HR заменяется на блок LR. Полученные результаты показали, что эффективность предложенного метода исходного набора данных достигла значений отношения пикового сигнала к шуму (PSNR) и среднеквадратичной ошибки (RMSE) 22,4 и 19,5 соответственно. Второй набор данных показал значения PSNR и RMSE, равные 20,1 и 25,5, а третий набор — 45,7 и 12,3. Таким образом, представленный метод работает лучше, чем нейронная сеть пространственной модуляции канала сверхвысокого разрешения и метод повышения разрешения.
Ключевые слова: высокое разрешение, низкое разрешение, дискретное косинусное преобразование, повышение разрешения, среднеквадратическая ошибка, PSNR, сверточная нейронная сеть
Список литературы
Список литературы
- Chen Q., Huang J., Feris R., Brown L.M., Dong J., Yan S. Deep domain adaptation for describing people based on fine-grained clothing attributes // Proc. of the 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2015. P. 5315–5324. https://doi.org/10.1109/cvpr.2015.7299169
- Denton E.L., Chintala S., Fergus R. Deep generative image models using a Laplacian pyramid of adversarial networks // Advances in Neural Information Processing Systems. 2015. V. 28.
- Cui Z., Chang H., Shan S., Zhong B., Chen X. Deep network cascade for image super-resolution // Lecture Notes in Computer Science. 2014. V. 8693. P. 49–64. https://doi.org/10.1007/978-3-319-10602-1_4
- Farhadifard F., Abar E., Nazzal M., Ozkaramanh H. Single image super resolution based on sparse representation via directionally structured dictionaries // Proc. of the 22nd Signal Processing and Communications Applications Conference (SIU). IEEE, 2014. P. 1718–1721. https://doi.org/10.1109/siu.2014.6830580
- Ahmed J., Memon R.A., Waqas M., Mangrio M.I., Ali S. Selective sparse coding based coupled dictionary learning algorithm for single image super-resolution // Proc. of the 2018 International Conference on Computing, Mathematics and Engineering Technologies (iCoMET). 2018. P. 1–5. https://doi.org/10.1109/icomet.2018.8346357
- Choi J.H., Kim J.H., Cheon M., Lee J.S. Deep learning-based image super-resolution considering quantitative and perceptual quality // Neurocomputing. 2020. V. 398. P. 347–59. https://doi.org/10.1016/j.neucom.2019.06.103
- Dong C., Loy C.C., He K., Tang X. Image super-resolution using deep convolutional networks // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2016. V. 38. N 2. P. 295–307. https://doi.org/10.1109/TPAMI.2015.2439281
- Dong C., Loy C.C., Tang X. Accelerating the super-resolution convolutional neural network // Lecture Notes in Computer Science. 2016. V. 9906. P. 391–407. https://doi.org/10.1007/978-3-319-46475-6_25
- Ayas S., Ekinci M. Single image super resolution using dictionary learning and sparse coding with multi-scale and multi-directional Gabor feature representation // Information Sciences. 2020. V. 512. P. 1264–1278. https://doi.org/10.1016/j.ins.2019.10.040
- Gu S., Zuo W., Xie Q., Meng D., Feng X., Zhang L. Convolutional sparse coding for image super-resolution // Proc. of the IEEE International Conference on Computer Vision (ICCV). 2015. P. 1823–1831. https://doi.org/10.1109/iccv.2015.212
- Dosovitskiy A., Springenberg J.T., Brox T. Learning to generate chairs with convolutional neural networks // Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2015. P. 1538–1546. https://doi.org/10.1109/cvpr.2015.7298761
- Mathieu M., Couprie C., LeCun Y. Deep multi-scale video prediction beyond mean square error // Proc. of the 4th International Conference on Learning Representations (ICLR). 2016.
- Alec R., Luke M., Soumith C. Unsupervised representation learning with deep convolutional generative adversarial networks // Proc. of the International Conference on Learning Representations (ICLR). 2015. P. 1–16.
- Dong C., Loy C.C., He K., Tang X. Learning a deep convolutional network for image super-resolution // Lecture Notes in Computer Science. 2014. V. 8692. P. 184–199. https://doi.org/10.1007/978-3-319-10593-2_13
- Aharon M., Elad M., Bruckstein A. K-SVD: An algorithm for designing overcomplete dictionaries for sparse representation // IEEE Transactions on Signal Processing. 2006. V. 54. N 11. P. 4311–4322. https://doi.org/10.1109/tsp.2006.881199
- Rueda A., Malpica N., Romero E. Single-image super-resolution of brain MR images using overcomplete dictionaries // Medical Image Analysis. 2013. V. 17. N 1. P. 113–132. https://doi.org/10.1016/j.media.2012.09.003
- Wang H., Jiang K. Research on image super-resolution reconstruction based on transformer // Proc. of the 2021 IEEE International Conference on Artificial Intelligence and Industrial Design (AIID). 2021. P. 226–230. https://doi.org/10.1109/aiid51893.2021.9456580
- Liu H., Guo Q., Wang G., Gupta B.B., Zhang C. Medical image resolution enhancement for healthcare using nonlocal self-similarity and low-rank prior // Multimedia Tools and Applications. 2019. V. 78. N 7. P. 9033–9050. https://doi.org/10.1007/s11042-017-5277-6
- Liu J., Malekzadeh M., Mirian N., Song T.A., Liu C., Dutta J. Artificial intelligence-based image enhancement in PET imaging: Noise reduction and resolution enhancement // PET Clinics. 2021. V. 16. N 4. P. 553–576. https://doi.org/10.1016/j.cpet.2021.06.005
- Dabbaghchian S., Ghaemmaghami M.P., Aghagolzadeh A. Feature extraction using discrete cosine transform and discrimination power analysis with a face recognition technology // Pattern Recognition. 2010. V. 43. N 4. P. 1431–1440. https://doi.org/10.1016/j.patcog.2009.11.001
- Liew W.S., Tang T.B., Lin C.H., Lu C.K. Automatic colonic polyp detection using integration of modified deep residual convolutional neural network and ensemble learning approaches // Computer Methods and Programs in Biomedicine. 2021. V. 206. P. 106114. https://doi.org/10.1016/j.cmpb.2021.106114
- Timofte R., De V., Van Gool L. Anchored neighborhood regression for fast example-based super-resolution // Proc. of the IEEE International Conference on Computer Vision. 2013. P. 1920–1927. https://doi.org/10.1109/iccv.2013.241
- Haris M., Shakhnarovich G., Ukita N. Deep back-projectinetworks for single image super-resolution // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2021. V. 43. N 12. P. 4323–4337. https://doi.org/10.1109/tpami.2020.3002836
- Niu B., Wen W., Ren W., Zhang X., Yang L., Wang S., Zhang K., Cao X., Shen H. Single image super-resolution via a holistic attention network // Lecture Notes in Computer Science. 2020. V. 12357. P. 191–207. https://doi.org/10.1007/978-3-030-58610-2_12
- Lan R., Sun L., Liu Z., Lu H., Pang C., Luo X. MADNet: a fast and lightweight network for single-image super resolution // IEEE Transactions on Cybernetics. 2021. V. 51. N 3. P. 1443–1453. https://doi.org/10.1109/tcyb.2020.2970104