НИКИФОРОВ
Владимир Олегович
д.т.н., профессор
doi: 10.17586/2226-1494-2018-18-5-858-862
УДК 004.75
ИНФОРМАЦИЯ ПО УТИЛИЗАЦИИ РЕСУРСОВ ЦЕНТРА ОБРАБОТКИ ДАННЫХ С ИСПОЛЬЗОВАНИЕМ СИСТЕМЫ ОЧЕРЕДЕЙ
Читать статью полностью
Ссылка для цитирования:
Аннотация
Представлена разрабатываемая Университетом ИТМО (ifmo.ru) облачная система для географически распределенных центров обработки данных. Для повышения отказоустойчивости, а также для сбора статистических данных создана специальная система мониторинга, которая отслеживает состояние систем и утилизацию аппаратных ресурсов. Помимо построения карты статистических данных, информация по утилизации ресурсов предлагается провайдеру для осуществления биллинга. Предложен подход с асинхронным обращением к системе мониторинга. Представлен вариант с использованием системы сообщений. Из двух основных моделей биллинга – биллинг по квотам и биллинг по фактическому использованию – предложена модель реализации диалога между администратором и системой мониторинга с целью получения данных об утилизации ресурсов по фактическому использованию. Предложено использование базы данных для хранения запросов и ответов, а также обеспечение асинхронности диалога с помощью технологии очередей и брокера сообщений. Апробация разработанной модели произведена на тестовом оборудовании с эмуляцией реальной инфраструктуры. Получена уникальная асинхронная мультиагентная система сбора статистических данных по использованию ресурсов центра обработки данных. Показано применение системы очередей RabbitMQ, базы данных PostgreSQL и системы мониторинга Zabbix. Система диалога оптимизирована с помощью языка программирования Python. Разработанная модель может быть рекомендована для использования при сборе информации по утилизации ресурсов в различных центрах обработки данных, в том числе распределенных. Предложенная модель может применяться в высоконагруженных системах, предоставляющих виртуальные ресурсы как сервис.
Благодарности. Исследования выполнены при финансовой поддержке Министерства образования и науки Российской Федерации (Договор № 03.G25.31.0229.
Список литературы
-
Shevel A.Y., Khoruzhnikov S.E., Grudinin V.A., Sadov O.L., Kairkanov A. Globally distributed software defined storage (proposal) // Journal of Physics: Conference Series. 2017. V. 898. N 6. Art.062014. doi: 10.1088/1742-6596/898/6/062014
-
Fedchenkov P.V., Khoruzhnikov S.E., Grudinin V.A., Sadov O.L., Shevel A.E., Kairkanov A.B., Lazo O.I., Oreshkin A.A. Service reliability in the cloud of data centers under Openstack // CEUR Workshop Proceedings. 2017. V. 2023. P. 282–287.
-
Shevel A.Y., Khoruzhnikov S.E., Grudinin V.A., Sadov O.L., Kairkanov A.B. Geographically distributed software defined storage (the proposal) // CEUR Workshop Proceedings. 2016. V. 1787. P. 62–67.
-
Khoruzhnikov S.E., Grudinin V.A., Sadov O.L., Shevel A.E., Kairkanov A.B. Transfer of large volume data over Internet with parallel data links and SDN // Lecture Notes in Computer Science. 2015. V. 9142. P. 463–471. doi: 10.1007/978-3-319-20469-7_49
-
Khoruzhnikov S.E., Grudinin V.A., Sadov O.L., Shevel A.E., Titov V.B., Kairkanov A.B. Initial-stage examination of a testbed for the big data transfer over parallel links. The SDN approach // Astrophysical Bulletin. 2015. V. 70. N 2. P. 238–242. doi: 10.1134/S199034131502011X
-
Chen Y., Paxson V., Katz R. What’s New about Cloud Computing Security? Technical Report UCB/EECS-2010-5. Berkeley, 2009.
-
Greenberg A., Hamilton J.R., Jain N., Kandula S., Kim C., Lahiri P., Maltz D.A., Patel P., Sengupta S.VL2: scalable and flexible data center network // Computer Communication Review. 2009. V. 39. N 4. P. 51–62. doi: 10.1145/1594977.1592576
-
Mohd Saleem. Cloud computing virtualization // International Journal of Computer Applications Technology and Research. 2017. V. 6. N 7. P. 290–292.
-
Armbrust M., Fox A., Griffith R., Joseph A.D., Katz R., Konwinski A., Lee G., Patterson D., Rabkin A., Stoica I., Zaharia M. A view of cloud computing // Communications of the ACM. 2010. V. 53. N 4. P. 50–58. doi: 10.1145/1721654.1721672
-
Ali-Eldin A.H. Capacity Scaling for Elastic Compute Clouds. Dissertation. Umea University, Sweden, 2013. 90 p.
-
Liu S.Y. Research and implementation of automated inspection system based on ZABBIX // Electric Power Information and Communication Technology. 2014. V. 12. N 12. P. 111–115.
-
Dalle Vacche A. Mastering Zabbix. 2nd ed. Packt Publ., 2015. 412 p.
-
Elmasri R., Navathe S.B. Fundamentals of Database Systems. 6th ed. Addison Wesley, 2010. 1200 p.
-
Momjian B. PostgreSQL: Introduction and Concepts. Addison-Wesley, 2002. 490 p.
-
Dierbach C. Introduction to Computer Science Using Python: A Computational Problem-Solving Focus. Wiley, 2012. 612 p.
-
Millman K.J., Aivazis M. Python for scientists and engineers // Computing in Science and Engineering. 2011. V. 13. N 2.
P. 9–13. doi: 10.1109/MCSE.2011.36 -
Rostanski M., Grochla K., Seman A. Evaluation of highly available and fault-tolerant middleware clustered architectures using RabbitMQ // Proc. 2014 Federated Conference on Computer Science and Information Systems. Warsaw, Poland, 2014. V. 2. P. 879–884. doi: 10.15439/2014F48