Меню
Публикации
2026
2025
2024
2023
2022
2021
2020
2019
2018
2017
2016
2015
2014
2013
2012
2011
2010
2009
2008
2007
2006
2005
2004
2003
2002
2001
Главный редактор
НИКИФОРОВ
Владимир Олегович
д.т.н., профессор
Партнеры
doi: 10.17586/2226-1494-2026-26-2-357-366
УДК 621.382
Последовательно-параллельная архитектура для реализации на программируемых логических интегральных схемах нейронных сетей, обучаемых в реальном времени по алгоритму обратного распространения ошибки
Читать статью полностью
Язык статьи - русский
Ссылка для цитирования:
Аннотация
Ссылка для цитирования:
Ушенина И.В. Последовательно-параллельная архитектура для реализации на программируемых логических интегральных схемах нейронных сетей, обучаемых в реальном времени по алгоритму обратного распространения ошибки // Научно-технический вестник информационных технологий, механики и оптики. 2026. Т. 26, № 2. С. 357–366. doi: 10.17586/2226-1494-2026-26-2-357-366
Аннотация
Введение. На сегодняшний день предложено несколько вычислительных архитектур, реализуемых на программируемых логических интегральных схемах, используемых для обучения нейронных сетей в реальном времени по алгоритму обратного распространения ошибки. Реализуемые архитектуры рассчитаны на нейронные сети небольших размеров, или в них наблюдается значительное снижение максимальной тактовой частоты с ростом размеров обучаемых нейронных сетей. В настоящей работе предложены решения задач обеспечения предсказуемости максимальной тактовой частоты и минимизации ее снижения с увеличением размеров сетей. Представленная архитектура решает эти задачи на уровне организации вычислений. Метод. Архитектура представляет собой массив вычислительных блоков, основанных на блоках цифровой обработки сигналов программируемых логических интегральных схем, которые выполняют большую часть вычислений в нейронах параллельно. Архитектура содержит также общий блок, последовательно обрабатывающий результаты вычислений в блоках массива. Получены формулы, показывающие линейную зависимость латентности вычислений от размеров нейронных сетей. Основные результаты. По результатам реализации на программируемой логической интегральной схеме отдельного вычислительного блока массива, общего блока и содержащих их нейронных сетей различных размеров оценены полученные временные характеристики. Установлено, что основным фактором, ограничивающим максимальную тактовую частоту нейронных сетей, являются задержки распространения сигналов по шинам, соединяющим массив вычислительных блоков с общим блоком. Максимальная тактовая частота нейронных сетей при 3–240 вычислительных блоках в массиве составляет от 112 до 77 МГц. Обсуждение. По сравнению с ближайшим аналогом, в предложенной архитектуре критические пути внутри вычислительных блоков сокращены за счет перевода части вычислений в последовательный режим, но при этом латентность вычисления локальных градиентов нейронов скрытых слоев может оказаться выше. При возрастании количества вычислительных блоков в массиве с 3 до 128 максимальная тактовая частота снижается на 27 % против 52 % у ближайшего аналога. Возрастание количества вычислительных блоков со 120 до 240 в представленной архитектуре снижает тактовую частоту не более чем на 5 %. Нейронные сети с разработанной архитектурой, реализованные на программируемых логических интегральных схемах, могут использоваться для решения задач, требующих обучения в реальном времени — идентификации систем и отслеживания объектов.
Ключевые слова: архитектура нейронной сети, обучение, ПЛИС, алгоритм обратного распространения ошибки, режим реального времени
Благодарности. Исследование выполнено за счет гранта Российского научного фонда и Пензенской области № 24-21-20100, https://rscf.ru/project/24-21-20100/.
Список литературы
Благодарности. Исследование выполнено за счет гранта Российского научного фонда и Пензенской области № 24-21-20100, https://rscf.ru/project/24-21-20100/.
Список литературы
1. Хайкин С. Нейронные сети: полный курс. СПб.: Диалектика, 2020. 1104 с.
2. Zhao G., Zhang P., Ma G., Xiao W. System identification of the nonlinear residual errors of an industrial robot using massive measurements // Robotics and Computer-Integrated Manufacturing. 2019. V. 59. P. 104–114. https://doi.org/10.1016/j.rcim.2019.03.007
3. Nelles O. Nonlinear System Identification: from Classical Approaches to Neural Networks, Fuzzy Models, and Gaussian Processes. Springer, 2020. 1253 p. https://doi.org/10.1007/978-3-030-47439-3
4. Han D., Yoo H.-J. On-Chip Training NPU-Algorithm, Architecture and SoC Design. Springer, 2023. 260 p. https://doi.org/10.1007/978-3-031-34237-0
5. Han D., Lee J., Lee J., Choi S., Yoo H.-J. A 141.4 mW low-power online deep neural network training processor for real-time object tracking in mobile devices // Proc. of the IEEE International Symposium on Circuits and Systems (ISCAS). 2018. P. 1–5. https://doi.org/10.1109/iscas.2018.8351398
6. Varagula J., Kulproma P., Itob T. Object detection method in traffic by on-board computer vision with time delay neural network // Procedia Computer Science. 2017. V. 112. P. 127–136. https://doi.org/10.1016/j.procs.2017.08.185
7. Heidaryan M., Karimi G. FPGA implementation of two multilayer perceptron neural network in cascade for efficient real time hand gestures tracking // Microprocessors and Microsystems. 2023. V. 100. P. 104849. https://doi.org/10.1016/j.micpro.2023.104849
8. Seng K.P., Ang L.M. Embedded intelligence: State-of-the-art and research challenges // IEEE Access. 2022. V. 10. P. 59236–59258. https://doi.org/10.1109/access.2022.3175574
9. Ortega-Zamorano F., Jerez J.M., Munoz D.U., Luque-Baena R.M., Franco L. Efficient implementation of the backpropagation algorithm in FPGAs and microcontrollers // IEEE Transactions on Neural Networks and Learning Systems. 2015. V. 27. N 9. P. 1840–1850. https://doi.org/10.1109/tnnls.2015.2460991
10. Ушенина И.В., Данилов Е.А. Реализация на ПЛИС модуля искусственного нейрона для последовательно-параллельных архитектур нейронных сетей с прямой связью // Цифроваяобработкасигналов. 2025. № 1. С. 78–84.
11. Zhang M.J., Garcia S., Terre M. Real-time fast learning hardware implementation // International Journal for Simulation and Multidisciplinary Design Optimization. 2023. V. 14. P. 1. https://doi.org/10.1051/smdo/2023001
12. Tisan A., Chin J. An end-user platform for FPGA-based design and rapid prototyping of feedforward artificial neural networks with on-chip backpropagation learning // IEEE Transactions on Industrial Informatics. 2016. V. 12. N 3. P. 1124–1133. https://doi.org/10.1109/tii.2016.2555936
13. Zhang Z., Wang G., Wang K., Gan B., Chen G. Efficient on-chip learning of multi-layer perceptron based on neuron multiplexing method // Electronics. 2023. V. 12. N 17. P. 3607. https://doi.org/10.3390/electronics12173607
14. Holt J.L., Hwang J.-N. Finite precision error analysis of neural network hardware implementations // IEEE Transactions on Computers. 1993. V. 42. N 3. P. 281–290. https://doi.org/10.1109/12.210171
15. Ушенина И.В. Реализация на современных ПЛИС вычислителя сигмоидной функции активации нейронных сетей табличным методом // Вестник Томского государственного университета. Управление, вычислительная техника и информатика. 2024. № 69. С. 124–133. https://doi.org/10.17223/19988605/69/13
