Меню
Публикации
2024
2023
2022
2021
2020
2019
2018
2017
2016
2015
2014
2013
2012
2011
2010
2009
2008
2007
2006
2005
2004
2003
2002
2001
Главный редактор
НИКИФОРОВ
Владимир Олегович
д.т.н., профессор
Партнеры
doi: 10.17586/2226-1494-2023-23-6-1171-1177
УДК 004.258
Алгоритм контроллера нечеткой логики для размещения файлов в системе хранения данных
Читать статью полностью
Язык статьи - русский
Ссылка для цитирования:
Аннотация
Ссылка для цитирования:
Татарникова Т.М., Архипцев Е.Д. Алгоритм контроллера нечеткой логики для размещения файлов в системе хранения данных // Научно-технический вестник информационных технологий, механики и оптики. 2023. Т. 23, № 6. С. 1171–1177. doi: 10.17586/2226-1494-2023-23-6-1171-1177
Аннотация
Введение. Обсуждается задача организации многоуровневого хранения данных. Информация со временем теряет свою актуальность и стоимость ее хранения на носителях высокой доступности, например твердотельных накопителях, становится нецелесообразной. До сих пор размещение новых файлов в системе хранения данных решается горизонтально — без учета многоуровневой организации системы. Миграция файлов между уровнями системы хранения данных выполняется с течением времени, когда накапливается статистика по частоте их запроса. Все файлы обладают метаданными, такими как тип, размер, дата создания и другими, из которых можно выделить некоторую информацию об их важности. Это позволяет реализовать распределение данных по уровням системы хранения на ее входе. Метод. Предложена современная система хранения данных, представленная четырьмя уровнями. Первый уровень Hi-End предназначается для хранения критически важных данных с требованиями максимальной скорости доступа и надежности. Второй уровень Upper Mid-Range предназначается для корпоративных приложений, требующих высокой скорости доступа. Третий уровень Mid-Range предлагается использовать для организации файловых хранилищ, а четвертый — Entry Level — для создания резервных копий и архивов. В предложенном алгоритме размещения файлов по уровням системы хранения данных учитываются метрики, указывающие на требования к хранению и выбору уровня системы хранения данных, соответствующего предъявляемым требованиям. К таким метрикам относятся степень доступности (скорость предоставления информации), важность (стоимость потери данных в случае аппаратного и программного сбоев), срок хранения и частота запроса. Метрики выделяются из метаданных сохраняемых файлов. Основные результаты. Предложено новое решение, основанное на функциях контроллера нечеткой логики. Алгоритм его работы может быть интегрирован в систему хранения данных до процесса записи нового файла. Алгоритм включает три основных шага. На первом шаге выполняется анализ файловых метрик для формирования соответствующих им входных нечетких множеств. На втором шаге для формирования итогового нечеткого множества применяется логическая модель. На завершающем этапе происходит получение результата нечеткого вывода и размещение файла на соответствующий уровень системы хранения данных. Приведен пример работы контролера для файлов с разными значениями метрических характеристик. Обсуждение. Контроллер нечеткой логики может быть интегрирован в работу многоуровневой системы хранения данных.
Ключевые слова: большие данные, многоуровневая система хранения данных, требования к хранению данных, метрики файлов, контроллер нечеткой логики, рациональное хранение
Список литературы
Список литературы
- Боков С.И., Чупринов А.А. О роли обеспечения системы управления цифровой экономикой России на основе организации единого информационного пространства // Наноиндустрия. 2019.Т. 12. N S(89). C. 135–139. https://doi.org/10.22184/NanoRus.2019.12.89.135.139
- Challawala S., Lakhatariya J., Mehta C., Patel K. MySQL 8 for Big Data: Effective Data Processing with MySQL 8, Hadoop, NoSQL APIs, and Other Big Data Tools. Packt Publishing, 2017. 226 p.
- Lakshmanan V., Tigani J. Google BigQuery: The Definitive Guide: Data Warehousing, Analytics, and Machine Learning at Scale. O'Reilly Media, 2019. 475 p.
- Сивов В.В., Богатырев В.А. Отказоустойчивый кластер хранилища данных для аналитических запросов в банковской сфере // Advanced Engineering Research (Rostov-on-Don). 2023. Т 23. № 1. С. 76–84. https://doi.org/10.23947/2687-1653-2023-23-1-76-84
- Татарникова Т.М., Архипцев Е.Д. Определение числа реплик распределенного хранения больших данных // Международная конференция по мягким вычислениям и измерениям. 2023. Т. 1. С. 305–308.
- Шевцов В.Ю., Абрамов В.С. Анализ современных систем хранения данных // НБИ технологии. 2019. Т. 13. № 1. С. 25–30. https://doi.org/https://doi.org/10.15688/NBIT.jvolsu.2019.1.5
- Татарникова Т.М., Пойманова Е.Д. Методика дифференцированного наращивания емкости системы хранения данных с многоуровневой структурой // Научно-технический вестник информационных технологий, механики и оптики. 2020. Т. 20. № 1. С. 66–73. https://doi.org/10.17586/2226-1494-2020-20-1-66-73
- Information Storage and Management / 2nd ed. New Jersey: John Wiley & Sons Inc., 2016. 544 p.
- Попов С.Г., Фридман В.С. Обзор методов динамического распределения данных в распределенных системах управления базами данных // Информатика, телекоммуникации и управление. 2018. Т. 11. № 4. С. 82–107. https://doi.org/10.18721/JCSTCS.11407
- Полищук Ю.В. Взаимосвязь ценности и старения информации при управлении большими техническими системами // Информационные технологии. 2019. Т. 25. № 6. С. 381–384. https://doi.org/10.17587/it.25.381-384
- Kish L.B., Granqvist C.G. Does information have mass? // Proceedings of the IEEE. 2013. V. 101. N 9. P. 1895–1899. https://doi.org/10.1109/jproc.2013.2273720
- Svetov B.Ya., Tatarnikova T.M., Poymanova E.D. Storage scaling management model // Информационно-управляющие системы. 2020. № 5. С. 43–49. https://doi.org/10.31799/1684-8853-2020-5-43-49
- Богатырев В.А., Богатырев С.В., Богатырев А.В. Оценка готовности компьютерной системы к своевременному обслуживанию запросов при его совмещении с информационным восстановлением памяти после отказов // Научно-технический вестник информационных технологий, механики и оптики. 2023. Т. 23. № 3(145). С. 608–617. https://doi.org/10.17586/2226-1494-2023-23-3-608-617
- Bogatyrev V.A., Bogatyrev S.V., Bogatyrev A.V. Reliability and timeliness of servicing requests in infocommunication systems, taking into account the physical and information recovery of redundant storage devices // Proc. of the 2022 International Conference on Information, Control, and Communication Technologies (ICCT). 2022. P. 1–4. https://doi.org/10.1109/icct56057.2022.9976800
- Шилкина С.В., Фокина Е.Н. Контроллер нечёткой логики в управлении технологическими процессами // Вестник Сибирского государственного автомобильно-дорожного университета. 2018. Т. 15. № 1. С. 106–114. https://doi.org/10.26518/2071-7296-2018-1-106-114
- Савченко Д.В., Резникова К.М., Смышляева А.А. Нечеткая логика и нечеткие информационные технологии // Интернет-журнал «Отходы и ресурсы». 2021. Т. 8. № 1 [Электронный ресурс]. URL: https://resources.today/PDF/10ECOR121.pdf (дата обращения: 08.10.2023). https://doi.org/10.15862/10ECOR121
- Киселёва Э.А., Краева А.А., Савинова Ю.С. Обзор нечеткой логики в управлении // Международный журнал прикладных наук и технологий Integral. 2019. № 3. С. 59.
- Веретёхин А.В., Ячменева В.М. Оценка эколого-экономической безопасности промышленного предприятия с использованием инструментария нечеткой логики // Научно-технические ведомости СПбГПУ. Экономические науки. 2017. Т. 10. № 3. С. 140–157. https://doi.org/10.18721/JE.10313
