doi: 10.17586/2226-1494-2022-22-4-725-733


УДК 517.95

Многомерный двоичный классификатор дерева решений на основе неглубокой нейронной сети

Марахимов А.Р., Кудайбергенов Ж.К., Худайбергенов К.К., Охундадаев У.Р.


Читать статью полностью 
Язык статьи - английский

Ссылка для цитирования:
Марахимов А.Р., Кудайбергенов Ж.К., Худайбергенов К.К., Охундадаев У.Р. Многомерный двоичный классификатор дерева решений на основе неглубокой нейронной сети // Научнотехнический вестник информационных технологий, механики и оптики. 2022. Т. 22, № 4. С. 725–733 (на англ. яз.). doi: 10.17586/2226-1494-2022-22-4-725-733


Аннотация
Предложен новый классификатор дерева решений, основанный на неглубоких нейронных сетях с кусочными и нелинейными функциями активации преобразования. Данная сеть рекурсивно используется в методах линейного и нелинейного многомерного бинарного дерева решений, которые генерируют узлы разделения и классификатора. Представлено линейное многомерное бинарное дерево решений с неглубокой нейронной сетью, в которой использована выпрямленная линейная единичная функция. Описана новая функция активации с нелинейным свойством, с помощью которой в процессе обучения нейронных сетей получается оптимальная обобщающая способность. Рассмотренный метод продемонстрировал высокую способность к обобщению для моделей линейного и нелинейного многомерного бинарного дерева решений. Предложенные модели обеспечивают точность и производительность классификации. Представлен новый критерий разделения для генерации узлов, который может быть использован в новых моделях дерева решений нейронной сети для большинства классов объектов в текущем узле. Также эти модели могут быть преобразованы в линейные и нелинейные многомерные деревья решений на основе гиперплоскости, и имеют высокую скорость при обработке решений классификации. Численные эксперименты на общедоступных наборах данных показали, что представленные методы превосходят существующие алгоритмы дерева решений и другие методы классификации

Ключевые слова: иерархический классификатор, нейронные сети, бинарное дерево, многомерное дерево решений, функция активации

Благодарности. Исследование выполнено при поддержке кафедры алгоритмов и технологий программирования Национального университета Узбекистана, Узбекистан.

Список литературы
  1. Morala P., Cifuentes J.A., Lillo R.E., Ucar I. Towards a mathematical framework to inform neural network modelling via polynomial regression // Neural Networks. 2021. V. 142. P. 57–72. https://doi.org/10.1016/j.neunet.2021.04.036
  2. Cao W., Mirjalili V., Raschka S. Rank consistent ordinal regression for neural networks with application to age estimation // Pattern Recognition Letters. 2020. V. 140. P. 325–331. https://doi.org/10.1016/j.patrec.2020.11.008
  3. Messner E., Fediuk M., Swatek P., Scheidl S., Smolle-Jüttner F.M., Olschewski H., Pernkopf F. Multi-channel lung sound classification with convolutional recurrent neural networks // Computers in Biology and Medicine. 2020. V. 122. P. 103831. https://doi.org/10.1016/j.compbiomed.2020.103831
  4. Youling L. A calibration method of computer vision system based on dual attention mechanism // Image and Vision Computing. 2020. V. 103. P. 104039. https://doi.org/10.1016/j.imavis.2020.104039
  5. Palmerston J.B., Zhou Y., Chan H.M. Comparing biological and artificial vision systems: Network measures of functional connectivity // Neuroscience Letters. 2020. V. 739. P. 135407. https://doi.org/10.1016/j.neulet.2020.135407
  6. Basha S.H.Sh., Dubey Sh.R., Pulabaigari V., Mukherjee S. Impact of fully connected layers on performance of convolutional neural networks for image classification // Neurocomputing. 2020. V. 378. P. 112–119. https://doi.org/10.1016/j.neucom.2019.10.008
  7. Shuang K., Tan Y., Cai Zh., Sun Y. Natural language modeling with syntactic structure dependency // Information Sciences. 2020. V. 523. P. 220–233. https://doi.org/10.1016/j.ins.2020.03.022
  8. Xu M. WITHDRAWN: Image processing system based on FPGA and convolutional neural network // Microprocessors and Microsystems. 2020. P. 103379. https://doi.org/10.1016/j.micpro.2020.103379
  9. Krizhevsky A., Sutskever I., Hinton G.E. Imagenet classification with deep convolutional neural networks // Proc. of the 26th Annual Conference on Neural Information Processing Systems (NIPS). 2012. P. 1097–1105.
  10. Goodfellow I., Bengio Y., Courville A. Deep Learning. MIT Press, 2016. 775 p.
  11. Zhou Z.H., Feng J. Deep forest: Towards an alternative to deep neural networks // Proc. of the 26th International Joint Conference on Artificial Intelligence (IJCAI). 2017. P. 3553–3559. https://doi.org/10.24963/ijcai.2017/497
  12. Frosst N., Hinton G. Distilling a neural network into a soft decision tree // CEUR Workshop Proceedings. 2018. V. 2070.
  13. Wan A., Dunlap L., Ho D., Yin J., Lee S., Jin H., Petryk S., Bargal S.A., Gonzalez J.E. NBDT: Neural-backed decision trees // arXiv. 2020.  arXiv:2004.00221. https://doi.org/10.48550/arXiv.2004.00221
  14. Pinto A., Pereira S., Rasteiro D.M., Silva C. Hierarchical brain tumour segmentation using extremely randomized trees // Pattern Recognition. 2018. V. 82. P. 105–117. https://doi.org/10.1016/j.patcog.2018.05.006
  15. Vanli N.D., Sayin M.O., Mohaghegh N.M., Ozkan H., Kozat S.S. Nonlinear regression via incremental decision trees // Pattern Recognition. 2019. V. 86. P. 1–13. https://doi.org/10.1016/j.patcog.2018.08.014
  16. Blanco-Justici A., Domingo-Ferrer J., Martínez S., Sánchez D. Machine learning explainability via microaggregation and shallow decision trees // Knowledge-Based Systems. 2020. V. 194. P. 105532. https://doi.org/10.1016/j.knosys.2020.105532
  17. Kotsiantis S.B. Decision trees: a recent overview // Artificial Intelligence Review. 2013. V. 39. N 4. P. 261–283. https://doi.org/10.1007/s10462-011-9272-4
  18. Quinlan J.R. Induction of decision trees // Machine Learning. 1986. V. 1. N 1. P. 81–106. https://doi.org/10.1023/A:1022643204877
  19. Breiman L., Friedman J.H., Stone C.J., Olshen R.A. Classification and Regression Trees. Chapman & Hall/CRC, 1984.
  20. Quinlan J.R. C4.5: Programs for Machine Learning. Morgan Kaufmann Publishers Inc., 1993.
  21. Chandra B., Paul Varghese P. Moving towards efficient decision tree construction // Information Sciences. 2009. V. 179. N 8. P. 1059–1069. https://doi.org/10.1016/j.ins.2008.12.006
  22. Wang F., Wang Q., Nie F., Yu W., Wang R. Efficient tree classifiers for large scale datasets // Neurocomputing. 2018. V. 284. P. 70–79. https://doi.org/10.1016/j.neucom.2017.12.061
  23. Yildiz C., Alpaydin E. Omnivariate decision trees // IEEE Transactions on Neural Networks. 2001. V. 12. N 6. P. 1539–1546. https://doi.org/10.1109/72.963795
  24. Altinçay H. Decision trees using model ensemble-based nodes // Pattern Recognition. 2007. V. 40. N 12. P. 3540–3551. https://doi.org/10.1016/j.patcog.2007.03.023
  25. Kumar M.A., Gopal M. A hybrid SVM based decision tree // Pattern Recognition. 2010. V. 43. N 12. P. 3977–3987. https://doi.org/10.1016/j.patcog.2010.06.010
  26. Nie F., Zhu W., Li X. Decision Tree SVM: An extension of linear SVM for non-linear classification // Neurocomputing. 2020. V. 401. P. 153–159. https://doi.org/10.1016/j.neucom.2019.10.051


Creative Commons License

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License
Информация 2001-2022 ©
Научно-технический вестник информационных технологий, механики и оптики.
Все права защищены.

Яндекс.Метрика