Меню
Публикации
2026
2025
2024
2023
2022
2021
2020
2019
2018
2017
2016
2015
2014
2013
2012
2011
2010
2009
2008
2007
2006
2005
2004
2003
2002
2001
Главный редактор
НИКИФОРОВ
Владимир Олегович
д.т.н., профессор
Партнеры
doi: 10.17586/2226-1494-2026-26-5-963-970
УДК 004.032.26
Диагностика затухания межслойной связанности и минимальная коррекция остаточными соединениями в глубоких последовательных сетях
Читать статью полностью
Язык статьи - русский
Ссылка для цитирования:
Аннотация
Ссылка для цитирования:
Большим М.А., Кугаевских А.В. Диагностика затухания межслойной связанности и минимальная коррекция остаточными соединениями в глубоких последовательных сетях // Научно-технический вестник информационных технологий, механики и оптики. 2026. Т. 26, № 5. С. 963–970. doi: 10.17586/2226-1494-2026-26-5-963-970
Аннотация
Введение. Проектирование последовательных нейронных сетей требует выбора числа и расположения остаточных соединений, тогда как методы автоматического поиска архитектур ресурсоемки и не локализуют структурные дефекты. В работе предложен способ диагностики локализованного затухания межслойной связанности до обучения и использовать его для минимальной коррекции остаточной топологии. Метод. Диагностика основана на внедиагональных блоках матрицы Гессе функции потерь. Введены глобальный индекс коллапса и максимальный локальный провал. По диагностическому профилю жадный алгоритм размещает не более заданного числа остаточных соединений без обучения сети и градиентного поиска по архитектуре. Метод проверен на CIFAR-10 с использованием многослойных перцептронов с узким местом. Основные результаты. Исследованы 16 конфигураций с 8, 12, 16 или 20 скрытыми блоками и базовой шириной 64 или 128 (по три инициализации, 48 запусков), а также архитектура с 16 блоками, базовой шириной 256, шириной узкого места 16 и позицией узкого места 8. Коэффициент Спирмена между максимальным локальным провалом и итоговой точностью равен –0,692; p-значение менее 0,001. После учета архитектурных параметров статистически значимая связь индексов с итоговой точностью не выявлена. При фиксированном бюджете в одно ребро направленное размещение обеспечивает более высокую точность, чем случайное; p-значение равно 0,019 (разведочный анализ). Средние значения мягкого коэффициента Жаккара составляют 0,9583–0,9722. Для соседних целевых блоков 90 % доверительный интервал парной разности точности лежит внутри границ эквивалентности; большее p-значение двух односторонних тестов равно 0,014. Обсуждение. Гессиановый профиль используется для локализации провала связанности и выбора минимального остаточного вмешательства, а не как самостоятельный предиктор качества обучения. Выводы относятся к сетям с искусственным узким местом; перенос метода на другие архитектуры требует проверки.
Ключевые слова: матрица Гессе, межслойная кривизна, остаточные соединения, диагностика архитектуры, нейронные сети
Благодарности. Работа выполнена в рамках государственного задания (проект FSER-2025-0004).
Благодарности. Работа выполнена в рамках государственного задания (проект FSER-2025-0004).

