Меню
Публикации
2026
2025
2024
2023
2022
2021
2020
2019
2018
2017
2016
2015
2014
2013
2012
2011
2010
2009
2008
2007
2006
2005
2004
2003
2002
2001
Главный редактор
НИКИФОРОВ
Владимир Олегович
д.т.н., профессор
Партнеры
doi: 10.17586/2226-1494-2026-26-5-993-999
УДК 004.032.26
Поиск перспективных точек инициализации нейронных сетей
Читать статью полностью
Язык статьи - русский
Ссылка для цитирования:
Аннотация
Ссылка для цитирования:
Толстых В.Н., Ершов В.Н. Поиск перспективных точек инициализации нейронных сетей // Научно-технический вестник информационных технологий, механики и оптики. 2026. Т. 26, № 5. С. 993–999. doi: 10.17586/2226-1494-2026-26-5-993-999
Аннотация
Введение. Исследована проблема инициализации нейронной сети, заключающаяся в определении начальной точки в пространстве весовых коэффициентов для качественного градиентного спуска. Известно, что скорость обучения и результат обучения нейронной сети во многом зависит от ее инициализации. Проблема заключается в том, что в процессе выполнения алгоритм может попасть в аномальную зону локального минимума и надолго там застрять, иногда в самом начале обучения. В таких случаях рекомендуется начать спуск с новой инициализации. В работе предложено начинать обучение с точки на дне локального минимума, с которой, как показывают исследования, начинается спуск в новом направлении. Метод. Предлагаемый метод основан на том, что большинство аномалий являются критическими точками, имеющими направление на спуск. Нейросеть инициализируется каждый раз, когда алгоритм обучения сталкивается с аномалией, в которой значение функции ошибки возрастает. При этом производится определение новой инициализации в точке минимума функции ошибки на отрезке, соединяющем точку до аномалии и следующую точку за ней. Последовательные инициализации приводят к тому, что спуск происходит по оптимизированной траектории без значимых осцилляций. Основные результаты. Работоспособность метода показана на примере перцептрона с единственным скрытым слоем и одной аномалией. Доказано, что спуск из новой точки инициализации происходит быстрее; обнаружена возможность коррекции градиента без вычисления гессиана; сделан вывод о целесообразности многократной инициализации нейронной сети при попадании в зону очередной аномалии. Предлагается использовать способ коррекции алгоритма градиентного спуска с целью достижения дна аномалии в случаях, когда ошибка начинает расти. Обсуждение. Разработанный метод гарантирует более высокую вероятность попадания в область с низким значением функции ошибки, чем при случайном розыгрыше точки инициализации, а также выигрыш в сравнении с ограниченной машиной Больцмана по времени исполнения.
Ключевые слова: обучение нейронной сети, градиентный спуск, инициализация нейросети, локальный минимум, регуляризация, функция ошибки
Благодарности. Работа выполнена при финансовой поддержке Министерства науки и высшего образования Российской Федерации, соглашение № FSRF-2023-0003, «Фундаментальные основы построения помехозащищенных систем космической и спутниковой связи, относительной навигации, технического зрения и аэрокосмического мониторинга».
Благодарности. Работа выполнена при финансовой поддержке Министерства науки и высшего образования Российской Федерации, соглашение № FSRF-2023-0003, «Фундаментальные основы построения помехозащищенных систем космической и спутниковой связи, относительной навигации, технического зрения и аэрокосмического мониторинга».

