doi: 10.17586/2226-1494-2026-26-5-993-999


УДК 004.032.26

Поиск перспективных точек инициализации нейронных сетей

Толстых В.Н., Ершов В.Н.


Читать статью полностью 
Язык статьи - русский

Ссылка для цитирования:
Толстых В.Н., Ершов В.Н. Поиск перспективных точек инициализации нейронных сетей // Научно-технический вестник информационных технологий, механики и оптики. 2026. Т. 26, № 5. С. 993–999. doi: 10.17586/2226-1494-2026-26-5-993-999


Аннотация
Введение. Исследована проблема инициализации нейронной сети, заключающаяся в определении начальной точки в пространстве весовых коэффициентов для качественного градиентного спуска. Известно, что скорость обучения и результат обучения нейронной сети во многом зависит от ее инициализации. Проблема заключается в том, что в процессе выполнения алгоритм может попасть в аномальную зону локального минимума и надолго там застрять, иногда в самом начале обучения. В таких случаях рекомендуется начать спуск с новой инициализации. В работе предложено начинать обучение с точки на дне локального минимума, с которой, как показывают исследования, начинается спуск в новом направлении. Метод. Предлагаемый метод основан на том, что большинство аномалий являются критическими точками, имеющими направление на спуск. Нейросеть инициализируется каждый раз, когда алгоритм обучения сталкивается с аномалией, в которой значение функции ошибки возрастает. При этом производится определение новой инициализации в точке минимума функции ошибки на отрезке, соединяющем точку до аномалии и следующую точку за ней. Последовательные инициализации приводят к тому, что спуск происходит по оптимизированной траектории без значимых осцилляций. Основные результаты. Работоспособность метода показана на примере перцептрона с единственным скрытым слоем и одной аномалией. Доказано, что спуск из новой точки инициализации происходит быстрее; обнаружена возможность коррекции градиента без вычисления гессиана; сделан вывод о целесообразности многократной инициализации нейронной сети при попадании в зону очередной аномалии. Предлагается использовать способ коррекции алгоритма градиентного спуска с целью достижения дна аномалии в случаях, когда ошибка начинает расти. Обсуждение. Разработанный метод гарантирует более высокую вероятность попадания в область с низким значением функции ошибки, чем при случайном розыгрыше точки инициализации, а также выигрыш в сравнении с ограниченной машиной Больцмана по времени исполнения.

Ключевые слова: обучение нейронной сети, градиентный спуск, инициализация нейросети, локальный минимум, регуляризация, функция ошибки

Благодарности. Работа выполнена при финансовой поддержке Министерства науки и высшего образования Российской Федерации, соглашение № FSRF-2023-0003, «Фундаментальные основы построения помехозащищенных систем космической и спутниковой связи, относительной навигации, технического зрения и аэрокосмического мониторинга».

Creative Commons License

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License
Информация 2001-2026 ©
Научно-технический вестник информационных технологий, механики и оптики.

Яндекс.Метрика