Применение технологий нейронных сетей и компьютерного зрения для анализа изображений кожных новообразований

Милантьев С.А., Кордюкова А.А., Шевяков Д.О., Логачев Е.П. Применение технологий нейронных сетей и компьютерного зрения для анализа изображений кожных новообразований // Научно-технический вестник информационных технологий, механики и оптики. 2022. Т. 22, № 5. С. 859–865. doi: 10.17586/2226-1494-2022-22-5-859-865

Предмет исследования. Исследована возможность применения нейронных сетей и компьютерного зрения для анализа изображений кожных новообразований и выявления признаков развития различных патологий, в том числе онкологических. Разработана методика оценки значимости комбинаций цветовых каналов и пространств с применением технологий компьютерного зрения, а именно, методов локальных бинарных шаблонов и гистограмм ориентированных градиентов для извлечения признаков кожных изменений и бинарной классификации новообразований кожи человека. Оптимизация комбинаций признаков позволит более эффективно решать проблему разделимости данных при классификации. Показана возможность исследования кожных новообразований при использовании набора данных малого объема (менее 1000 изображений). Предложено применение методики к данным, получаемым с помощью нового уникального метода многоспектральной обработки кожных новообразований. Метод. Использованы изображения из наборов данных ISIC-19 и ISIC-20. Для тренировки и валидации моделей сформированы выборки с ограничением в 1000 изображений, а также дополнительная тестовая выборка из 250 изображений. Все изображения приведены к единому размеру 128 × 128 пикселов и преобразованы в цветовые пространства YCrCb, BGR, Grayscale, HSV. По каждому цветовому каналу извлечены признаки с помощью методов локальных бинарных шаблонов и гистограмм ориентированных градиентов. Для классификации данных применен ряд математических моделей, в том числе нейронные сети. Выполнена оценка эффективности комбинаций объединения признаков по цветовым каналам и методам их извлечения. Предобработанные изображения разделены на тренировочную и валидационную подвыборки в соотношении 70/30 %. Проведена оценка моделей с помощью метрик Accuracy, Recall, Precision и F1-score на стратифицированной кросс-валидации и тестовой выборке. Оптимизация параметров моделей осуществлена на основе функции потерь, представленной усредненным значением по кросс-валидации и оценке на валидационной выборке. Основные результаты. В процессе исследований выполнено более 15 000 оптимизаций параметров моделей. Наиболее устойчивые результаты на валидационном наборе данных достигнуты при ансамблировании моделей, обученных на комбинации признаков с применением методов локальных бинарных шаблонов и гистограмм ориентированных градиентов. Показано, что модели с использованием только метода локальных бинарных шаблонов имеют лучшие значения метрик, применение их не рекомендуется на практике без ансамблирования с более сильными моделями. Практическая значимость. Полученные результаты могут найти применение при использовании ансамбля из state-of-the-art сверточных и рекуррентных нейронных сетей. Предложенный подход является универсальным и применим как для анализа отдельных изображений кожных новообразований, так и для анализа их последовательностей, полученных по методу многоспектральной обработки изображений. Методику можно использовать на наборах данных с ограниченным их количеством. Полученные результаты будут полезны специалистам в областях компьютерного зрения и анализа медицинских снимков.

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License