doi: 10.17586/2226-1494-2026-26-5-1000-1008


УДК 004.85:616-07

Дообучение мультимодальной языковой модели для многоклассовой диагностики по МРТ-изображениям

Гусарова Н.Ф., Добренко Н.В., Зубаненко А.А., Томилов И.В., Ульянов П.Г.


Читать статью полностью 
Язык статьи - русский

Ссылка для цитирования:
Гусарова Н.Ф., Добренко Н.В., Зубаненко А.А., Томилов И.В., Ульянов П.Г. Дообучение мультимодальной языковой модели для многоклассовой диагностики по МРТ-изображениям // Научно-технический вестник информационных технологий, механики и оптики. 2026. Т. 26, № 5. С. 1000–1008. doi: 10.17586/2226-1494-2026-26-5-1000-1008


Аннотация
Введение. В современной радиологии диагностические ассистенты искусственного интеллекта (ИИ), классифицирующие изображения магнитно-резонансной томографии (МРТ) головного мозга, как правило, основаны на сверточных нейронных сетях (Convolutional Neural Networks, CNN), которые работают исключительно с визуальным сигналом и не способны использовать структурированные диагностические описания патологий. Мультимодальные языковые модели (Vision Language Models, VLM) открывают новые возможности: совместная обработка визуальных и текстовых данных позволяет учитывать семантический контекст патологий, недоступный CNN-классификаторам. Ключевым препятствием для их применения остается высокая ресурсоемкость дообучения, несопоставимая с возможностями обычной клиники. Метод. Предложен метод построения ресурсоэффективного диагностического ИИ-ассистента на базе VLM Gemma 3 (4b-it) с применением метода низкоранговой адаптации (Low-Rank Adaptation, LoRA). Основные результаты. Дообучение проведено на наборе данных из 91 777 МРТ-снимков головного мозга, полученных в режиме подавления сигнала свободной жидкости (Fluid-Attenuated Inversion Recovery, FLAIR), распределенных по 8 классам патологий. Обучались только низкоранговые адаптеры — 12,5 % параметров модели, что позволило провести обучение на одном графическом процессоре NVIDIA RTX 3090 с 24 ГБ видеопамяти без масочной разметки данных. Экспертные знания врача-радиолога интегрированы через системный промпт, задающий модели роль опытного нейрорадиолога с явными критериями анализа. На валидационной выборке (9178 примеров) модель достигла: Accuracy 0,930, F1-score 0,929, Specificity 0,989 и Cohen’s Kappa 0,915. Обсуждение. Сравнение с базовым классификатором ConvNeXt-Base на идентичном наборе данных показало превосходство VLM+LoRA по всем метрикам: прирост Accuracy составил 7,4 процентных пунктов, Cohen’s Kappa — +0,090. Полученные результаты подтверждают практическую применимость предложенного подхода для клиник с ограниченными вычислительными ресурсами.

Ключевые слова: мультимодальная языковая модель, диагностический ИИ-ассистент, МРТ головного мозга, FLAIR-последовательность, низкоранговая адаптация, многоклассовая классификация, патологии головного мозга, ресурсоэффективное обучение, Gemma, LoRA

Благодарности. Работа выполнена при поддержке Министерства науки и высшего образования Российской Федерации, в рамках государственного задания FSER-2025-0013.

Creative Commons License

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License
Информация 2001-2026 ©
Научно-технический вестник информационных технологий, механики и оптики.

Яндекс.Метрика