Меню
Публикации
2026
2025
2024
2023
2022
2021
2020
2019
2018
2017
2016
2015
2014
2013
2012
2011
2010
2009
2008
2007
2006
2005
2004
2003
2002
2001
Главный редактор
НИКИФОРОВ
Владимир Олегович
д.т.н., профессор
Партнеры
doi: 10.17586/2226-1494-2026-26-5-1000-1008
УДК 004.85:616-07
Дообучение мультимодальной языковой модели для многоклассовой диагностики по МРТ-изображениям
Читать статью полностью
Язык статьи - русский
Ссылка для цитирования:
Аннотация
Ссылка для цитирования:
Гусарова Н.Ф., Добренко Н.В., Зубаненко А.А., Томилов И.В., Ульянов П.Г. Дообучение мультимодальной языковой модели для многоклассовой диагностики по МРТ-изображениям // Научно-технический вестник информационных технологий, механики и оптики. 2026. Т. 26, № 5. С. 1000–1008. doi: 10.17586/2226-1494-2026-26-5-1000-1008
Аннотация
Введение. В современной радиологии диагностические ассистенты искусственного интеллекта (ИИ), классифицирующие изображения магнитно-резонансной томографии (МРТ) головного мозга, как правило, основаны на сверточных нейронных сетях (Convolutional Neural Networks, CNN), которые работают исключительно с визуальным сигналом и не способны использовать структурированные диагностические описания патологий. Мультимодальные языковые модели (Vision Language Models, VLM) открывают новые возможности: совместная обработка визуальных и текстовых данных позволяет учитывать семантический контекст патологий, недоступный CNN-классификаторам. Ключевым препятствием для их применения остается высокая ресурсоемкость дообучения, несопоставимая с возможностями обычной клиники. Метод. Предложен метод построения ресурсоэффективного диагностического ИИ-ассистента на базе VLM Gemma 3 (4b-it) с применением метода низкоранговой адаптации (Low-Rank Adaptation, LoRA). Основные результаты. Дообучение проведено на наборе данных из 91 777 МРТ-снимков головного мозга, полученных в режиме подавления сигнала свободной жидкости (Fluid-Attenuated Inversion Recovery, FLAIR), распределенных по 8 классам патологий. Обучались только низкоранговые адаптеры — 12,5 % параметров модели, что позволило провести обучение на одном графическом процессоре NVIDIA RTX 3090 с 24 ГБ видеопамяти без масочной разметки данных. Экспертные знания врача-радиолога интегрированы через системный промпт, задающий модели роль опытного нейрорадиолога с явными критериями анализа. На валидационной выборке (9178 примеров) модель достигла: Accuracy 0,930, F1-score 0,929, Specificity 0,989 и Cohen’s Kappa 0,915. Обсуждение. Сравнение с базовым классификатором ConvNeXt-Base на идентичном наборе данных показало превосходство VLM+LoRA по всем метрикам: прирост Accuracy составил 7,4 процентных пунктов, Cohen’s Kappa — +0,090. Полученные результаты подтверждают практическую применимость предложенного подхода для клиник с ограниченными вычислительными ресурсами.
Ключевые слова: мультимодальная языковая модель, диагностический ИИ-ассистент, МРТ головного мозга, FLAIR-последовательность, низкоранговая адаптация, многоклассовая классификация, патологии головного мозга, ресурсоэффективное обучение, Gemma, LoRA
Благодарности. Работа выполнена при поддержке Министерства науки и высшего образования Российской Федерации, в рамках государственного задания FSER-2025-0013.
Благодарности. Работа выполнена при поддержке Министерства науки и высшего образования Российской Федерации, в рамках государственного задания FSER-2025-0013.

