ENG
РУС
Поиск
Меню
О журнале
Политика открытого доступа
Редакционная коллегия
Редакционная политика
Редакционная этика
Правила рецензирования статей
Требования к оформлению статей
Формы представляемых документов
Рекомендации по оформлению ссылок на наш журнал
Редакция
Информация для подписчиков
Аннотации номера
Список авторов
Выпуски
Лицензионное соглашение
Порядок работы с персональными данными
Публикации
2024
2023
2022
2021
2020
2019
2018
2017
2016
2015
2014
2013
2012
2011
2010
2009
2008
2007
2006
2005
2004
2003
2002
2001
Главный редактор

НИКИФОРОВ
Владимир Олегович
д.т.н., профессор
Партнеры













































doi: 10.17586/2226-1494-2021-21-6-951-961

УДК 004.85

Метод отключения путей по расписанию на основе семплирования Монте-Карло и непрерывной релаксации для оценки эпистемической неопределенности в задаче классификации пыльцы на изображениях 

Ханжина Н.Е.


Читать статью полностью 
Язык статьи - русский

Ссылка для цитирования:
Ханжина Н.Е. Метод отключения путей по расписанию на основе семплирования Монте-Карло и непрерывной релаксации для оценки эпистемической неопределенности в задаче классификации пыльцы на изображениях // Научно-технический вестник информационных технологий, механики и оптики. 2021. Т. 21, № 6. С. 951–961. doi: 10.17586/2226-1494-2021-21-6-951-961


Аннотация
Предмет исследования. Представлены результаты обучения нейронной сети NASNet с помощью нового метода отключения путей по расписанию на основе семплирования Монте-Карло и непрерывной релаксации для оценки эпистемической неопределенности в задаче классификации пыльцевых зерен на изображениях. Приведено описание разработанного метода и выполнено его сравнение с известными методами оценки эпистемической неопределенности. Актуальность работы состоит в том, что рассматриваемый пыльцевой набор данных крайне мал для задач компьютерного зрения, что порождает высокую эпистемическую неопределенность нейросетевых классификаторов и ведет к их переобучению. Разработанный метод позволяет получить оценку данного вида неопределенности без изменения архитектуры нейронной сети и обеспечить более точное решение задачи классификации пыльцы. Метод. Предложенный метод позволяет оценить эпистемическую неопределенность нейронных сетей с многопутевыми ячейками на основе отключения путей с расписанием с использованием непрерывной релаксации для повышения точности и калибровки моделей распознавания изображений. Метод позволяет превратить произвольную многопутевую нейронную сеть в байесовскую путем ее сэмплирования на этапе предсказания методом Монте-Карло с разными масками отключения путей для оценки неопределенности. Произведено тестирование метода для задачи классификации на основе архитектуры NASNet. Преимущества метода продемонстрированы на задаче классификации изображений пыльцы. Основные результаты. С помощью разработанного метода повышена точность классификации 13 видов пыльцы растений-аллергенов на изображениях в среднем на 0,73 % по сравнению с базовой сетью NASNet до значения 98,34 % по F1 мере. Также улучшена калибровка и уменьшена эпистемическая неопределенность модели в два раза по сравнению с ансамблем NASNet. Показано, что непрерывная релаксация параметра вероятности отключения путей в процессе обучения нейронной сети позволяет повысить точность решения задач и уменьшить эпистемическую неопределенность модели. Практическая значимость. Метод способствует значительному повышению точности классификации пыльцы на изображениях, что имеет решающее значение для автоматизации распознавания пыльцы в целом. Результаты работы дают возможность автоматизировать процесс аэропалинологического мониторинга и сократить время информирования больных поллинозами для предупреждения симптомов аллергии. Разработанный метод может быть применен для обучения нейронной сети для других задач компьютерного зрения на любых наборах изображений.

Ключевые слова: байесовское глубокое обучение, вариационный вывод, эпистемическая неопределенность, распознавание пыльцы, распознавание изображений, оценка неопределенности

Благодарности. С. Петухову, Н.В. Минаевой, Л.В. Новоселовой, Г.А. Заморину, Т.А. Полевой, А.А. Фильченкову, Е.Б. Замятиной, И.В. Харисовой, Ю. Пинаевой за неоценимую помощь в исследовании.

Список литературы
  1. WAO White Book on Allergy / ed by R. Pawankar, G.W.Canonica, S.T. Holgate, R.F. Lockey, M.S. Blaiss. USA: World Allergy Organization, 2013.
  2. Bousquet P.J., Chinn S., Janson C., Kogevinas M., Burney P., Jarvis D.  Geographical variation in the prevalence of positive skin tests to environmental aeroallergens in the European Community Respiratory Health Survey I // Allergy. 2007. V. 62. N 3. P. 301–309. https://doi.org/10.1111/j.1398-9995.2006.01293.x
  3. Eigenmann P.A., Eigenmann P.A., Atanaskovic-Markovic M., O'B Hourihane J., Lack G., Lau S., Matricardi P.M., Muraro A., Namazova Baranova L., Nieto A., Papadopoulos N.G., Réthy L.A., Roberts G., Rudzeviciene O., Wahn U., Wickman M., Høst A. Testing children for allergies: why, how, who and when: an updated statement of the European Academy of Allergy and Clinical Immunology (EAACI) Section on Pediatrics and the EAACI‐Clemens von Pirquet Foundation // Pediatric Allergy and Immunology. 2013. V. 24. N 2. P. 195–209. https://doi.org/10.1111/pai.12066
  4. Bousquet J., Schunemann H.J., Fonseca J., Samolinski B. et al. MACVIA‐ARIA Sentinel NetworK for allergic rhinitis (MASK‐rhinitis): the new generation guideline implementation // Allergy. 2015. V. 70. N 11. P. 1372–1392. https://doi.org/10.1111/all.12686
  5. Chikhladze M.V., Khachapuridze D.R., Sepiashvili R.I. The use of the Burkhard Pollen Trap to study the aeroecological profile in Georgia // Международный журнал по иммунореабилитации = International Journal on Immunorehabilitation. 2009. Т. 11. № 2. С. 200b–200b.
  6. Kishikawa R., Sahashi N., Saitoh A., Kotoh E., Shimoda T., Shoji S., Akiyama K., Nishima S. Japanese cedar airborne pollen monitoring by Durham’s and burkard samplers in Japan-estimation of the usefulness of Durham’s sampler on Japanese cedar pollinosis // Global Environmental Research. 2009. V. 13. N 1. P. 55–62.
  7. Puc M., Kotrych D., Lipiec A., Rapiejko P., Siergiejko G. Birch pollen grains without cytoplasmic content in the air of Szczecin and Bialystok // Alergoprofil. 2016. V. 12. N 2. P. 101–105.
  8. Piotrowska-Weryszko K., Weryszko-Chmielewska E., Rapiejko P., Rapiejko A., Malkiewicz M., Myszkowska D., Sulborska A., Żuraw B., Chłopek K., Voloshchuk K. Mugwort pollen season in southern Poland and Lviv (Ukraine) in 2015 // Alergoprofil. 2016. V. 12. N 1. P. 26–30.
  9. Giorato M., Bordin A., Gemignani C., Turatello F., Marcer G. Airborne pollen in Padua (NE-Italy): A comparison between two pollen samplers // Aerobiologia. 2003. V. 19. N 2. P. 129–131. https://doi.org/10.1023/A:1024405624565
  10. Allergenic Pollen: A Review of the Production, Release, Distribution and Health Impacts / ed. by M. Sofiev, K.C. Bergmann. Springer, 2012. 252 p.
  11. Novoselova L.V., Minaeva N. Pollen monitoring in Perm Krai (Russia)-experience of 6 years // Acta Agrobotanica. 2015. V. 68. N 4. P. 343–348. https://doi.org/10.5586/aa.2015.042
  12. D'Amato G., Cecchi L., Liccardi G. Thunderstorm-related asthma: not only grass pollen and spores // Journal of Allergy and Clinical Immunology. 2008. V. 121. N 2. P. 537–358. https://doi.org/10.1016/j.jaci.2007.10.046
  13. Sikoparija B., Skjøth C.A., Celenk S. et al. Spatial and temporal variations in airborne Ambrosia pollen in Europe // Aerobiologia. 2017. V. 33. N 2. P. 181–189. https://doi.org/10.1007/s10453-016-9463-1
  14. Pfaar O., Bastl K., Berger U., Buters J., Calderon M.A., Clot B., Darsow U., Demoly P., Durham S.R., Gala’n C., Gehrig R., Gerth van Wijk R., Jacobsen L., Klimek L., Sofiev M., Thibaudon M., Bergmann K.C. Definition von Pollenexpositionszeiten für klinische Studien zur Allergen-Immuntherapie bei polleninduzierter Rhinokonjunktivitis - ein EAACI-Positionspapier // Allergologie. 2018. V. 41. N 9. P. 386–389. https://doi.org/10.5414/ALX02053
  15. Holt K.A., Bennett K.D. Principles and methods for automated palynology // New Phytologist. 2014. V. 203. N 3. P. 735–742. https://doi.org/10.1111/nph.12848
  16. Flenley J.R. The problem of pollen recognition // Problems in Picture Interpretation / ed. by M.B. Clowes, J.P. Penny. CSIRO: Canberra, 1968. P. 141–145.
  17. Boucher A., Hidalgo P.J., Thonnat M., Belmonte J., Galan C., Bonton P., Tomczak R. Development of a semi-automatic system for pollen recognition // Aerobiologia. 2002. V. 18. N 3-4. P. 195–201. https://doi.org/10.1023/A:1021322813565
  18. Chen C., Hendriks E.A., Duin R.P.W., Reiber J.H.C., Hiemstra P.S., De Weger L.A., Stoel B.C. Feasibility study on automated recognition of allergenic pollen: grass, birch and mugwort // Aerobiologia. 2006. V. 22. N 4. P. 275–284. https://doi.org/10.1007/s10453-006-9040-0
  19. Ronneberger O., Schultz E., Burkhardt H. Automated pollen recognition using 3D volume images from fluorescence microscopy // Aerobiologia. 2002. V. 18. N 2. P. 107–115. https://doi.org/10.1023/A:1020623724584
  20. Chica M. Authentication of bee pollen grains in bright‐field microscopy by combining one‐class classification techniques and image processing // Microscopy Research and Technique. 2012. V. 75. N 11. P. 1475–1485. https://doi.org/10.1002/jemt.22091
  21. Chudyk C., Castaneda H., Leger R., Yahiaoui I., Boochs F. Development of an automatic pollen classification system using shape, texture and aperture features // CEUR Workshop Proceedings. 2015. V. 1458. P. 65–74.
  22. Khanzhina N., Putin E. Pollen recognition for allergy and asthma management using gist features // Communications in Computer and Information Science. 2016. V. 674. P. 515–525. https://doi.org/10.1007/978-3-319-49700-6_51
  23. Khanzhina N., Putin E., Filchenkov A., Zamyatina E. Pollen grain recognition using convolutional neural network // Proc. of the 26th European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning (ESANN). 2018. P. 409–414.
  24. Krizhevsky A., Sutskever I., Hinton G.E. ImageNet classification with deep convolutional neural networks // Advances in Neural Information Processing Systems. 2012. V. 2. P. 1097–1105.
  25. Daood A., Ribeiro E., Bush M. Classifying pollen using robust sequence alignment of sparse Z-stack volumes // Lecture Notes in Computer Science. 2016. V. 10072. P. 331–340. https://doi.org/10.1007/978-3-319-50835-1_31
  26. Sevillano V., Aznarte J.L. Improving classification of pollen grain images of the POLEN23E dataset through three different applications of deep learning convolutional neural networks // PloS ONE. 2018. V. 13. N 9. P. e0201807. https://doi.org/10.1371/journal.pone.0201807
  27. Sevillano V., Holt K., Aznarte J.L. Precise automatic classification of 46 different pollen types with convolutional neural networks // Plos ONE. 2020. V. 15. N 6. P. e0229751. https://doi.org/10.1371/journal.pone.0229751
  28. de Geus A.R., Barcelos C.A.Z., Batista M.A., daSilva S.F. Large-scale pollen recognition with deep learning // Proc. of the 27th European Signal Processing Conference (EUSIPCO). 2019. P. 1–5. https://doi.org/10.23919/EUSIPCO.2019.8902735
  29. Gallardo-Caballero R., García-Orellana C.J., García-Manso A., González-Velasco H.M., Tormo-Molina R., Macías-Macías M. Precise pollen grain detection in bright field microscopy using deep learning techniques // Sensors. 2019. V. 19. N 16. P. 3583. https://doi.org/10.3390/s19163583
  30. Simonyan K., Zisserman A. Very deep convolutional networks for large-scale image recognition // Proc. of the 3rd International Conference on Learning Representations, ICLR. 2015.
  31. Huang G., Liu Z., Van Der Maaten L., Weinberger K.Q. Densely connected convolutional networks // Proc. of the 30th IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2017. P. 2261–2269. https://doi.org/10.1109/CVPR.2017.243
  32. Menad H., Ben-Naoum F., Amine A. Deep convolutional neural network for pollen grains classification // CEUR Workshop Proceedings. 2019. V. 2351.
  33. Schiele J., Rabe F., Schmitt M., Glaser M., Häring F., Brunner J.O., Bauer B., Schuller B., Traidl-Hoffmann C., Damialis A. Automated classification of airborne pollen using neural networks // Proc. of the 41st Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). 2019. P. 4474–4478. https://doi.org/10.1109/EMBC.2019.8856910
  34. Astolfi G., Gonçalves A.B., Menezes G.V., Borges F.S.B., Astolfi A.C.M.N., Matsubara E.T., Alvarez M., Pistori H. POLLEN73S: An image dataset for pollen grains classification // Ecological Informatics. 2020. V. 60. P. 101165. https://doi.org/10.1016/j.ecoinf.2020.101165
  35. Gonçalves A.B., Souza J.S., Da Silva G.G., Cereda M.P., Pott A., Naka M.H., Pistori H. Feature extraction and machine learning for the classification of Brazilian Savannah pollen grains // PloS ONE. 2016. V. 11. N 6. P. e0157044. https://doi.org/10.1371/journal.pone.0157044
  36. Kendall A., Gal Y. What uncertainties do we need in bayesian deep learning for computer vision? // Advances in Neural Information Processing Systems. 2017. V. 30. P. 5574–5584.
  37. Gal Y., Ghahramani Z. Dropout as a bayesian approximation: Representing model uncertainty in deep learning // Proc. of the 33rd International Conference on Machine Learning (ICML).2016. P. 1651–1660.
  38. Ghiasi G., Lin T.Y., Le Q.V. DropBlock: A regularization method for convolutional networks // Advances in Neural Information Processing Systems. 2018. V. 31. P. 10727–10737.
  39. Izmailov P., Podoprikhin D., Garipov T., Vetrov D., Wilson A.G.Averaging weights leads to wider optima and better generalization // Proc. of the 34th Conference on Uncertainty in Artificial Intelligence (UAI). Vol. 2. 2018. P. 876–885.
  40. Tompson J., Goroshin R., Jain A., LeCun Y., Bregler C. Efficient object localization using convolutional networks // Proc. of the IEEE Conference on Computer Vision and Pattern Recognition. 2015. P. 648–656. https://doi.org/10.1109/CVPR.2015.7298664
  41. Larsson G., Maire M., Shakhnarovich G. Fractalnet: Ultra-deep neural networks without residuals // Proc. of the 5th International Conference on Learning Representations (ICLR). 2017.
  42. Zoph B., Vasudevan V., Shlens J., Le Q.V. Learning transferable architectures for scalable image recognition // Proc. of the 31st Meeting of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2018. P. 8697–8710. https://doi.org/10.1109/CVPR.2018.00907
  43. Zhang Z., Dalca A.V., Sabuncu M.R. Confidence calibration for convolutional neural networks using structured dropout // arXiv.org. 2019. arXiv:1906.09551.
  44. Gal Y., Hron J., Kendall A. Concrete dropout // Advances in Neural Information Processing Systems. 2017. V. 30. P. 3582–3591.
  45. Maddison C.J., Mnih A., Teh Y.W. The concrete distribution: A continuous relaxation of discrete random variables // Proc. of the 5th International Conference on Learning Representations (ICLR). 2017.
  46. Szegedy C., Ioffe S., Vanhoucke V., Alemi A.A. Inception-v4, inception-resnet and the impact of residual connections on learning // Proc. of the 31st AAAI Conference on Artificial Intelligence. 2017. P. 4278–4284.
  47. Xie S., Girshick R., Dollár P., Tu Z., He K. Aggregated residual transformations for deep neural networks // Proc. of the 30th IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2017. P. 5987–5995. https://doi.org/10.1109/CVPR.2017.634
  48. Khanzhina N., Kashirin M., Filchenkov A. Monte Carlo concrete DropPath for epistemic uncertainty estimation in brain tumor segmentation // Lecture Notes in Computer Science. 2021. V. 12959. P. 64–74. https://doi.org/10.1007/978-3-030-87735-4_7
  49. Karras T., Laine S., Aila T. A style-based generator architecture for generative adversarial networks // Proc. of the 32nd IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2019. P. 4396–4405. https://doi.org/10.1109/CVPR.2019.00453
  50. Karras T., Aila T., Laine S., Lehtinen J.Progressive growing of GANs for improved quality, stability, and variation // Proc. of the 6th International Conference on Learning Representations (ICLR). 2018.
  51. Huang X., Belongie S. Arbitrary style transfer in real-time with adaptive instance normalization // Proc. of the 16th IEEE International Conference on Computer Vision (ICCV). 2017. P. 1510–1519. https://doi.org/10.1109/ICCV.2017.167
  52. Loquercio A., Segu M., Scaramuzza D. A general framework for uncertainty estimation in deep learning // IEEE Robotics and Automation Letters. 2020. V. 5. N 2. P. 3153–3160. https://doi.org/10.1109/LRA.2020.2974682
  53. Ovadia Y., Fertig E., Ren J., Nado Z., Sculley D., Nowozin S., Dillon J.V., Lakshminarayanan B., Snoek J.Can you trust your model's uncertainty? Evaluating predictive uncertainty under dataset shift // Advances in Neural Information Processing Systems. 2019. V. 32.
  54. Naeini M.P., Cooper G., Hauskrecht M. Obtaining well calibrated probabilities using bayesian binning // Proc. of the 29th AAAI Conference on Artificial Intelligence. 2015. P. 2901–2907.
  55. Ashukha A., Lyzhov A., Molchanov D., Vetrov D. Pitfalls of in-domain uncertainty estimation and ensembling in deep learning // arXiv.org. 2020. arXiv:2002.06470.


Creative Commons License

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License
Информация 2001-2024 ©
Научно-технический вестник информационных технологий, механики и оптики.
Все права защищены.

Яндекс.Метрика