doi: 10.17586/2226-1494-2018-18-5-858-862


УДК 004.75

ИНФОРМАЦИЯ ПО УТИЛИЗАЦИИ РЕСУРСОВ ЦЕНТРА ОБРАБОТКИ ДАННЫХ С ИСПОЛЬЗОВАНИЕМ СИСТЕМЫ ОЧЕРЕДЕЙ

Самохин Н.Ю., Хоружников С.Э., Трубникова В.М., Ахмедзянова Р.Р., Булыкина А.Б.


Читать статью полностью 
Язык статьи - английский

Ссылка для цитирования:
Самохин Н.Ю., Хоружников С.Э., Трубникова В.М., Ахмедзянова Р.Р., Булыкина А.Б. Информация по утилизации ресурсов центра обработки данных с использованием системы очередей // Научно-технический вестник информационных технологий, механики и оптики. 2018. Т. 18. № 5. С. 858–862. doi: 10.17586/2226-1494-2018-18-5-858-862


Аннотация

Представлена разрабатываемая Университетом ИТМО (ifmo.ru) облачная система для географически распределенных центров обработки данных. Для повышения отказоустойчивости, а также для сбора статистических данных создана специальная система мониторинга, которая отслеживает состояние систем и утилизацию аппаратных ресурсов. Помимо построения карты статистических данных, информация по утилизации ресурсов предлагается провайдеру для осуществления биллинга. Предложен подход с асинхронным обращением к системе мониторинга. Представлен вариант с использованием системы сообщений. Из двух основных моделей биллинга – биллинг по квотам и биллинг по фактическому использованию – предложена модель реализации диалога между администратором и системой мониторинга с целью получения данных об утилизации ресурсов по фактическому использованию. Предложено использование базы данных для хранения запросов и ответов, а также обеспечение асинхронности диалога с помощью технологии очередей и брокера сообщений. Апробация разработанной модели произведена на тестовом оборудовании с эмуляцией реальной инфраструктуры. Получена уникальная асинхронная мультиагентная система сбора статистических данных по использованию ресурсов центра обработки данных. Показано применение системы очередей RabbitMQ, базы данных PostgreSQL и системы мониторинга Zabbix. Система диалога оптимизирована с помощью языка программирования Python. Разработанная модель может быть рекомендована для использования при сборе информации по утилизации ресурсов в различных центрах обработки данных, в том числе распределенных. Предложенная модель может применяться в высоконагруженных системах, предоставляющих виртуальные ресурсы как сервис.


Ключевые слова: центр обработки данных, виртуализация, мониторинг, биллинг, очереди сообщений, Zabbix, RabbitMQ

Благодарности. Исследования выполнены при финансовой поддержке Министерства образования и науки Российской Федерации (Договор № 03.G25.31.0229.

Список литературы
  1. Shevel A.Y., Khoruzhnikov S.E., Grudinin V.A., Sadov O.L., Kairkanov A. Globally distributed software defined storage (proposal) // Journal of Physics: Conference Series. 2017. V. 898. N 6. Art.062014. doi: 10.1088/1742-6596/898/6/062014
  2. Fedchenkov P.V., Khoruzhnikov S.E., Grudinin V.A., Sadov O.L., Shevel A.E., Kairkanov A.B., Lazo O.I., Oreshkin A.A. Service reliability in the cloud of data centers under Openstack // CEUR Workshop Proceedings. 2017. V. 2023. P. 282–287.
  3. Shevel A.Y., Khoruzhnikov S.E., Grudinin V.A., Sadov O.L., Kairkanov A.B. Geographically distributed software defined storage (the proposal) // CEUR Workshop Proceedings. 2016. V. 1787. P. 62–67.
  4. Khoruzhnikov S.E., Grudinin V.A., Sadov O.L., Shevel A.E., Kairkanov A.B. Transfer of large volume data over Internet with parallel data links and SDN // Lecture Notes in Computer Science. 2015. V. 9142. P. 463–471. doi: 10.1007/978-3-319-20469-7_49
  5. Khoruzhnikov S.E., Grudinin V.A., Sadov O.L., Shevel A.E., Titov V.B., Kairkanov A.B. Initial-stage examination of a testbed for the big data transfer over parallel links. The SDN approach // Astrophysical Bulletin. 2015. V. 70. N 2. P. 238–242. doi: 10.1134/S199034131502011X
  6. Chen Y., Paxson V., Katz R. What’s New about Cloud Computing Security? Technical Report UCB/EECS-2010-5. Berkeley, 2009.
  7. Greenberg A., Hamilton J.R., Jain N., Kandula S., Kim C., Lahiri P., Maltz D.A., Patel P., Sengupta S.VL2: scalable and flexible data center network // Computer Communication Review. 2009. V. 39. N 4. P. 51–62. doi: 10.1145/1594977.1592576
  8. Mohd Saleem. Cloud computing virtualization // International Journal of Computer Applications Technology and Research. 2017. V. 6. N 7. P. 290–292.
  9. Armbrust M., Fox A., Griffith R., Joseph A.D., Katz R., Konwinski A., Lee G., Patterson D., Rabkin A., Stoica I., Zaharia M. A view of cloud computing // Communications of the ACM. 2010. V. 53. N 4. P. 50–58. doi: 10.1145/1721654.1721672
  10. Ali-Eldin A.H. Capacity Scaling for Elastic Compute Clouds. Dissertation. Umea University, Sweden, 2013. 90 p.
  11. Liu S.Y. Research and implementation of automated inspection system based on ZABBIX // Electric Power Information and Communication Technology. 2014. V. 12. N 12. P. 111–115.
  12. Dalle Vacche A. Mastering Zabbix. 2nd ed. Packt Publ., 2015. 412 p.
  13. Elmasri R., Navathe S.B. Fundamentals of Database Systems. 6th ed. Addison Wesley, 2010. 1200 p.
  14. Momjian B. PostgreSQL: Introduction and Concepts. Addison-Wesley, 2002. 490 p.
  15. Dierbach C. Introduction to Computer Science Using Python: A Computational Problem-Solving Focus. Wiley, 2012. 612 p.
  16. Millman K.J., Aivazis M. Python for scientists and engineers // Computing in Science and Engineering. 2011. V. 13. N 2.
    P. 9–13. doi: 10.1109/MCSE.2011.36
  17. Rostanski M., Grochla K., Seman A. Evaluation of highly available and fault-tolerant middleware clustered architectures using RabbitMQ // Proc. 2014 Federated Conference on Computer Science and Information Systems. Warsaw, Poland, 2014. V. 2. P. 879–884. doi: 10.15439/2014F48


Creative Commons License

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License
Информация 2001-2024 ©
Научно-технический вестник информационных технологий, механики и оптики.
Все права защищены.

Яндекс.Метрика