<div>
	Многомерный двоичный классификатор дерева решений на основе неглубокой нейронной сети</div>

Марахимов Авазжон Рахимович , Кудайбергенов Жаббарберген Кадирбергенович , Худайбергенов Кабул Кадирбергенович , Охундадаев Улугбек Рахимжон угли

doi:10.17586/2226-1494-2022-22-4-725-733

2022 , ТОМ 22, НОМЕР 4 ( июль-август )

ISSN 2226-1494 (print), ISSN 2500-0373 (online)

Меню

Публикации

Главный редактор

НИКИФОРОВ
Владимир Олегович
д.т.н., профессор

Партнеры

doi: 10.17586/2226-1494-2022-22-4-725-733

УДК 517.95

Многомерный двоичный классификатор дерева решений на основе неглубокой нейронной сети

Марахимов А.Р., Кудайбергенов Ж.К., Худайбергенов К.К., Охундадаев У.Р.

Читать статью полностью

Язык статьи - английский

Ссылка для цитирования:

Марахимов А.Р., Кудайбергенов Ж.К., Худайбергенов К.К., Охундадаев У.Р. Многомерный двоичный классификатор дерева решений на основе неглубокой нейронной сети // Научнотехнический вестник информационных технологий, механики и оптики. 2022. Т. 22, № 4. С. 725–733 (на англ. яз.). doi: 10.17586/2226-1494-2022-22-4-725-733

Аннотация

Предложен новый классификатор дерева решений, основанный на неглубоких нейронных сетях с кусочными и нелинейными функциями активации преобразования. Данная сеть рекурсивно используется в методах линейного и нелинейного многомерного бинарного дерева решений, которые генерируют узлы разделения и классификатора. Представлено линейное многомерное бинарное дерево решений с неглубокой нейронной сетью, в которой использована выпрямленная линейная единичная функция. Описана новая функция активации с нелинейным свойством, с помощью которой в процессе обучения нейронных сетей получается оптимальная обобщающая способность. Рассмотренный метод продемонстрировал высокую способность к обобщению для моделей линейного и нелинейного многомерного бинарного дерева решений. Предложенные модели обеспечивают точность и производительность классификации. Представлен новый критерий разделения для генерации узлов, который может быть использован в новых моделях дерева решений нейронной сети для большинства классов объектов в текущем узле. Также эти модели могут быть преобразованы в линейные и нелинейные многомерные деревья решений на основе гиперплоскости, и имеют высокую скорость при обработке решений классификации. Численные эксперименты на общедоступных наборах данных показали, что представленные методы превосходят существующие алгоритмы дерева решений и другие методы классификации

Ключевые слова: иерархический классификатор, нейронные сети, бинарное дерево, многомерное дерево решений, функция активации

Благодарности. Исследование выполнено при поддержке кафедры алгоритмов и технологий программирования Национального университета Узбекистана, Узбекистан.

Список литературы

Morala P., Cifuentes J.A., Lillo R.E., Ucar I. Towards a mathematical framework to inform neural network modelling via polynomial regression // Neural Networks. 2021. V. 142. P. 57–72. https://doi.org/10.1016/j.neunet.2021.04.036
Cao W., Mirjalili V., Raschka S. Rank consistent ordinal regression for neural networks with application to age estimation // Pattern Recognition Letters. 2020. V. 140. P. 325–331. https://doi.org/10.1016/j.patrec.2020.11.008
Messner E., Fediuk M., Swatek P., Scheidl S., Smolle-Jüttner F.M., Olschewski H., Pernkopf F. Multi-channel lung sound classification with convolutional recurrent neural networks // Computers in Biology and Medicine. 2020. V. 122. P. 103831. https://doi.org/10.1016/j.compbiomed.2020.103831
Youling L. A calibration method of computer vision system based on dual attention mechanism // Image and Vision Computing. 2020. V. 103. P. 104039. https://doi.org/10.1016/j.imavis.2020.104039
Palmerston J.B., Zhou Y., Chan H.M. Comparing biological and artificial vision systems: Network measures of functional connectivity // Neuroscience Letters. 2020. V. 739. P. 135407. https://doi.org/10.1016/j.neulet.2020.135407
Basha S.H.Sh., Dubey Sh.R., Pulabaigari V., Mukherjee S. Impact of fully connected layers on performance of convolutional neural networks for image classification // Neurocomputing. 2020. V. 378. P. 112–119. https://doi.org/10.1016/j.neucom.2019.10.008
Shuang K., Tan Y., Cai Zh., Sun Y. Natural language modeling with syntactic structure dependency // Information Sciences. 2020. V. 523. P. 220–233. https://doi.org/10.1016/j.ins.2020.03.022
Xu M. WITHDRAWN: Image processing system based on FPGA and convolutional neural network // Microprocessors and Microsystems. 2020. P. 103379. https://doi.org/10.1016/j.micpro.2020.103379
Krizhevsky A., Sutskever I., Hinton G.E. Imagenet classification with deep convolutional neural networks // Proc. of the 26^thAnnual Conference on Neural Information Processing Systems (NIPS). 2012. P. 1097–1105.
Goodfellow I., Bengio Y., Courville A. Deep Learning. MIT Press, 2016. 775 p.
Zhou Z.H., Feng J. Deep forest: Towards an alternative to deep neural networks // Proc. of the 26^th International Joint Conference on Artificial Intelligence (IJCAI). 2017. P. 3553–3559. https://doi.org/10.24963/ijcai.2017/497
Frosst N., Hinton G. Distilling a neural network into a soft decision tree // CEUR Workshop Proceedings. 2018. V. 2070.
Wan A., Dunlap L., Ho D., Yin J., Lee S., Jin H., Petryk S., Bargal S.A., Gonzalez J.E. NBDT: Neural-backed decision trees // arXiv. 2020. arXiv:2004.00221. https://doi.org/10.48550/arXiv.2004.00221
Pinto A., Pereira S., Rasteiro D.M., Silva C. Hierarchical brain tumour segmentation using extremely randomized trees // Pattern Recognition. 2018. V. 82. P. 105–117. https://doi.org/10.1016/j.patcog.2018.05.006
Vanli N.D., Sayin M.O., Mohaghegh N.M., Ozkan H., Kozat S.S. Nonlinear regression via incremental decision trees // Pattern Recognition. 2019. V. 86. P. 1–13. https://doi.org/10.1016/j.patcog.2018.08.014
Blanco-Justici A., Domingo-Ferrer J., Martínez S., Sánchez D. Machine learning explainability via microaggregation and shallow decision trees // Knowledge-Based Systems. 2020. V. 194. P. 105532. https://doi.org/10.1016/j.knosys.2020.105532
Kotsiantis S.B. Decision trees: a recent overview // Artificial Intelligence Review. 2013. V. 39. N 4. P. 261–283. https://doi.org/10.1007/s10462-011-9272-4
Quinlan J.R. Induction of decision trees // Machine Learning. 1986. V. 1. N 1. P. 81–106. https://doi.org/10.1023/A:1022643204877
Breiman L., Friedman J.H., Stone C.J., Olshen R.A. Classification and Regression Trees. Chapman & Hall/CRC, 1984.
Quinlan J.R. C4.5: Programs for Machine Learning. Morgan Kaufmann Publishers Inc., 1993.
Chandra B., Paul Varghese P. Moving towards efficient decision tree construction // Information Sciences. 2009. V. 179. N 8. P. 1059–1069. https://doi.org/10.1016/j.ins.2008.12.006
Wang F., Wang Q., Nie F., Yu W., Wang R. Efficient tree classifiers for large scale datasets // Neurocomputing. 2018. V. 284. P. 70–79. https://doi.org/10.1016/j.neucom.2017.12.061
Yildiz C., Alpaydin E. Omnivariate decision trees // IEEE Transactions on Neural Networks. 2001. V. 12. N 6. P. 1539–1546. https://doi.org/10.1109/72.963795
Altinçay H. Decision trees using model ensemble-based nodes // Pattern Recognition. 2007. V. 40. N 12. P. 3540–3551. https://doi.org/10.1016/j.patcog.2007.03.023
Kumar M.A., Gopal M. A hybrid SVM based decision tree // Pattern Recognition. 2010. V. 43. N 12. P. 3977–3987. https://doi.org/10.1016/j.patcog.2010.06.010
Nie F., Zhu W., Li X. Decision Tree SVM: An extension of linear SVM for non-linear classification // Neurocomputing. 2020. V. 401. P. 153–159. https://doi.org/10.1016/j.neucom.2019.10.051

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License