Меню
Публикации
2024
2023
2022
2021
2020
2019
2018
2017
2016
2015
2014
2013
2012
2011
2010
2009
2008
2007
2006
2005
2004
2003
2002
2001
Главный редактор
НИКИФОРОВ
Владимир Олегович
д.т.н., профессор
Партнеры
doi: 10.17586/2226-1494-2023-23-6-1187-1197
УДК 004.048
Использование топологического анализа данных для построения байесовских нейронных сетей
Читать статью полностью
Язык статьи - русский
Ссылка для цитирования:
Аннотация
Ссылка для цитирования:
Ватьян А.С., Гусарова Н.Ф., Добренко Д.А., Панкова К.С., Томилов И.В. Использование топологического анализа данных для построения байесовских нейронных сетей // Научно-технический вестник информационных технологий, механики и оптики. 2023. Т. 23, № 6. С. 1187–1197. doi: 10.17586/2226-1494-2023-23-6-1187-1197
Аннотация
Введение. Впервые предложен упрощенный подход к построению байесовских нейронных сетей, сочетающий вычислительную эффективность с возможностью анализа процесса обучения. Метод. Предлагаемый подход основан на байесианизации детерминированной нейронной сети посредством рандомизации параметров только на уровне интерфейса. Формирование байесовской нейронной сети на основе заданной сети осуществляется путем замены ее параметров на вероятностные распределения, которые имеют в качестве среднего значения параметры исходной модели. Оценки метрик эффективности нейронной сети, полученной в рамках рассматриваемого подхода, и байесовской нейронной сети, построенной посредством вариационного вывода, выполнены с использованием методов топологического анализа данных. Основные результаты. Процедура байесианизации реализована с помощью градуированного варьирования интенсивности рандомизации. В качестве альтернативы использованы две нейронные сети с идентичной структурой — детерминированная и классическая байесовская. На вход нейронной сети подавались исходные данные двух датасетов из медицинского домена в вариантах без зашумления и с добавленным гауссовским шумом. Рассчитаны нулевые и первые персистентные гомологии для эмбеддингов формируемых нейронных сетей на каждом из слоев. Для оценки качества классификации использована метрика точности (accuracy). Показано, что баркоды для эмбеддингов на каждом слое байесианизированной нейронной сети во всех четырех сценариях находятся между соответствующими баркодами детерминированной и байесовской нейронной сетей как для нулевых, так и для первых персистентных гомологий. При этом детерминированная нейронная сеть является нижней границей, а байесовская — верхней. Показано, что структура ассоциаций данных внутри байесианизированной нейронной сети наследуется от детерминированной модели, однако приобретает свойства байесовской. Экспериментально установлено наличие взаимосвязи между нормированной персистентной энтропией, вычисляемой на эмбеддингах нейронной сети, и точностью нейронной сети. Для предсказания точности наиболее показательной оказалась топология эмбеддингов на среднем слое модели нейронной сети. Обсуждение. Предлагаемый подход может быть использован для упрощения построения байесовской нейронной сети из уже обученной детерминированной нейронной сети. Это открывает возможности повышения точности существующей нейронной сети без ансамблирования с дополнительными классификаторами. Появляется возможность проактивной оценки эффективности формируемой нейронной сети на упрощенных данных без запуска на реальном датасете, что сокращает ресурсоемкость ее разработки.
Ключевые слова: байесовские нейронные сети, персистентная гомология, нормированная персистентная энтропия, эмбеддинг, баркод
Благодарности. Работа поддержана грантом Российского научного фонда 23-11-00346.
Список литературы
Благодарности. Работа поддержана грантом Российского научного фонда 23-11-00346.
Список литературы
- Chazal F., Michel B. An introduction to topological data analysis: fundamental and practical aspects for data scientists // Frontiers in Artificial Intelligence. 2021. V. 4. https://doi.org/10.3389/frai.2021.667963
- Edelsbrunner H., Harer J. Computational topology: an introduction. American Mathe-matical Soc., 2010 [Электронный ресурс]. URL: https://www.maths.ed.ac.uk/~v1ranick/papers/edelcomp.pdf (дата обращения: 10.11.2023).
- Ritter H., Kukla M., Zhang C., Li Y. Sparse uncertainty representation in deep learning with inducing weights // Advances in Neural Information Processing Systems. 2021. V. 8. P. 6515–6528.
- Prabhudesai S., Hauth J., Guo D., Rao A., Banovic N., Huan X. Lowering the computational barrier: Partially Bayesian neural networks for transparency in medical imaging AI // Frontiers in Computer Science. 2023. V. 5. https://doi.org/10.3389/fcomp.2023.1071174
- Zomorodian A., Carlsson G. Computing persistent homology // Discrete & Computational Geometry. 2005. V. 33. N 2. P. 249–274. https://doi.org/10.1007/s00454-004-1146-y
- Wasserman L. Topological data analysis // Annual Review of Statistics and Its Application. 2018. V. 5. P. 501–532. https://doi.org/10.1146/annurev-statistics-031017-100045
- Carlsson G., Gabrielsson R.B. Topological approaches to deep learning // Topological Data Analysis. Springer, 2020. P. 119–146. https://doi.org/10.1007/978-3-030-43408-3_5
- Hensel F., Moor M., Rieck B. A survey of topological machine learning methods // Frontiers in Artificial Intelligence. 2021. V. 4. https://doi.org/10.3389/frai.2021.681108
- Moroni D., Pascali M.A. Learning topology: bridging computational topology and machine learning // Pattern Recognition and Image Analysis. 2021. V. 31. N 3. P. 443–453. https://doi.org/10.1134/S1054661821030184
- Zia A., Khamis A., Nichols J., Hayder Z., Rolland V., Peterssonet L. Topological deep learning: A review of an emerging paradigm // arXiv. arXiv:2302.03836v1. 2023. https://doi.org/10.48550/arXiv.2302.03836
- Goibert M., Ricatte T., Dohmatob E. An adversarial robustness perspective on the topology of neural networks // arXiv. 2022. arXiv:2211.02675. https://doi.org/10.48550/arXiv.2211.02675
- Chen C., Ni X., Bai Q., Wang Y. A topological regularizer for classifiers via persistent homology // Proc. of the AISTATS 2019 - 22nd International Conference on Artificial Intelligence and Statistics. 2020.
- Ramamurthy K.N., Varshney K.R., Mody K. Topological data analysis of decision boundaries with application to model selection // Proc. of the 36th International Conference on Machine Learning (ICML). 2019. P. 9316–9325.
- Gabrielsson R.B., Carlsson G. Exposition and interpretation of the topology of neural networks // Proc. of the 18th IEEE International Conference on Machine Learning and Applications (ICMLA). 2019. P. 1069–1076.
- Rieck B., Togninalli M., Bock C., Moor M., Horn M., Gumbsch T., Borwardt K. Neural persistence: A complexity measure for deep neural networks using algebraic topology // Proc. of the 7th International Conference on Learning Representations (ICLR). 2019.
- McGuire S., Jackson S., Emerson T., Kvinge H. Do neural networks trained with topological features learn different internal representations? // Proceedings of Machine Learning Research. 2023. V. 197. P. 122–136.
- Guss W.H., Salakhutdinov R. On characterizing the capacity of neural networks using algebraic topology // arXiv. 2018. arXiv:1802.04443v1. https://doi.org/10.48550/arXiv.1802.04443
- Bergomi M.G., Frosini P., Giorgi D., Quercioli N. Towards a topological–geometrical theory of group equivariant non-expansive operators for data analysis and machine learning // Nature Machine Intelligence. 2019. V. 1. N 9. P. 423–433. https://doi.org/10.1038/s42256-019-0087-3
- Hofer C.D., Graf F., Niethammer M., Kwitt R. Topologically densified distributions // Proc. of the 37th International Conference on Machine Learning (ICML). 2020. P. 4254–4263.
- Naitzat G., Zhitnikov A., Lim L.-H. Topology of deep neural networks // The Journal of Machine Learning Research. 2020. V. 21. N 1. P. 7503–7542.
- Gal Y., Ghahramani Z. Dropout as a Bayesian approximation: Representing model uncertainty in deep learning // Proc. of the 33rd International Conference on Machine Learning (ICML). 2016. P. 1651–1660.
