doi: 10.17586/2226-1494-2026-26-5-963-970


УДК 004.032.26

Диагностика затухания межслойной связанности и минимальная коррекция остаточными соединениями в глубоких последовательных сетях

Большим М.А., Кугаевских А.В.


Читать статью полностью 
Язык статьи - русский

Ссылка для цитирования:
Большим М.А., Кугаевских А.В. Диагностика затухания межслойной связанности и минимальная коррекция остаточными соединениями в глубоких последовательных сетях // Научно-технический вестник информационных технологий, механики и оптики. 2026. Т. 26, № 5. С. 963–970. doi: 10.17586/2226-1494-2026-26-5-963-970


Аннотация
Введение. Проектирование последовательных нейронных сетей требует выбора числа и расположения остаточных соединений, тогда как методы автоматического поиска архитектур ресурсоемки и не локализуют структурные дефекты. В работе предложен способ диагностики локализованного затухания межслойной связанности до обучения и использовать его для минимальной коррекции остаточной топологии. Метод. Диагностика основана на внедиагональных блоках матрицы Гессе функции потерь. Введены глобальный индекс коллапса и максимальный локальный провал. По диагностическому профилю жадный алгоритм размещает не более заданного числа остаточных соединений без обучения сети и градиентного поиска по архитектуре. Метод проверен на CIFAR-10 с использованием многослойных перцептронов с узким местом. Основные результаты. Исследованы 16 конфигураций с 8, 12, 16 или 20 скрытыми блоками и базовой шириной 64 или 128 (по три инициализации, 48 запусков), а также архитектура с 16 блоками, базовой шириной 256, шириной узкого места 16 и позицией узкого места 8. Коэффициент Спирмена между максимальным локальным провалом и итоговой точностью равен –0,692; p-значение менее 0,001. После учета архитектурных параметров статистически значимая связь индексов с итоговой точностью не выявлена. При фиксированном бюджете в одно ребро направленное размещение обеспечивает более высокую точность, чем случайное; p-значение равно 0,019 (разведочный анализ). Средние значения мягкого коэффициента Жаккара составляют 0,9583–0,9722. Для соседних целевых блоков 90 % доверительный интервал парной разности точности лежит внутри границ эквивалентности; большее p-значение двух односторонних тестов равно 0,014. Обсуждение. Гессиановый профиль используется для локализации провала связанности и выбора минимального остаточного вмешательства, а не как самостоятельный предиктор качества обучения. Выводы относятся к сетям с искусственным узким местом; перенос метода на другие архитектуры требует проверки.

Ключевые слова: матрица Гессе, межслойная кривизна, остаточные соединения, диагностика архитектуры, нейронные сети

Благодарности. Работа выполнена в рамках государственного задания (проект FSER-2025-0004).

Creative Commons License

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License
Информация 2001-2026 ©
Научно-технический вестник информационных технологий, механики и оптики.

Яндекс.Метрика