НИКИФОРОВ
Владимир Олегович
д.т.н., профессор
doi: 10.17586/2226-1494-2017-17-5-850-858
УДК 658.512.011.56:004.42
МЕТОД ОБРАБОТКИ В РЕАЛЬНОМ ВРЕМЕНИ ОТКРЫТЫХ ДАННЫХ, СОДЕРЖАЩИХ ГЕОКОНТЕКСТНУЮ РАЗМЕТКУ
Читать статью полностью
Ссылка для цитирования: Заславский М.М., Блеес Э.И., Баландин С.И. Метод обработки в реальном времени открытых данных, содержащих геоконтекстную разметку // Научно-технический вестник информационных технологий, механики и оптики. 2017. Т. 17. № 5. С. 850–858. doi: 10.17586/2226-1494-2017-17-5-850-858
Аннотация
Предложено решение проблемы интерфейса обработки и исследования открытых данных в реальном времени с точки зрения выделения информации о местоположении в платформе, использующей данные о местоположении (LBS-платформе), путем создания дополнения к платформе, реализующего импорт и сопоставление открытых данных из нескольких источников для дальнейшего выделения дополнительного признака в элементах данных и обработки с использованием статистических показателей и кластеризации. В качестве апробации был разработан плагин определения популярности открытых точек доступа Wi-Fi с помощью данных социальной сети ВКонтакте для LBS-платформ Geo2Tag, реализующий предложенный метод решения проблемы производительности обработки открытых данных в LBS-платформах. Данный плагин осуществляет импорт и сопоставление набора открытых данных Правительства Санкт-Петербурга и архива записей в определенных районах города с выделением дополнительного признака при помощи вычисления медианы, среднего арифметического или центров кластеров по методу кластеризации k-means для количества записей. Для определения скорости работы плагина была проведена серия экспериментов по измерению его производительности. Экспериментальное исследование показало, что общее время работы плагина в первую очередь определяется скоростью загрузки открытых данных из источника, поскольку время обработки на порядок меньше времени загрузки. Результаты показывают, что плагин может осуществлять анализ открытых данных из удаленного источника практически в реальном времени. Разработанный метод может быть применен не только в LBS-платформе Geo2Tag, но и для широкого класса подобных систем, так как его реализация полагается только на наличие подсистемы импорта открытых данных, которая, в свою очередь, может быть реализована в любой LBS-платформе. Метод также создает конкурентное преимущество для LBS-платформы, так как позволяет расширить качественный состав данных за счет результатов анализа импортированных открытых данных, причем способы и методики анализа, а также конечная форма представления результатов могут определяться не только администраторами LBS-платформы, но и ее пользователями-разработчиками, поскольку реализация метода опирается на подсистему пользовательских дополнений.
Список литературы
2. Dey A.K. Understanding and using context // Personal and Ubiquitous Computing. 2001. V. 5. N 1. P. 4–7. doi: 10.1007/s007790170019
3. Basiri A. et al. Challenges of location-based services market analysis: current market description // Lecture Notes in Geoinformation and Cartography. 2014. P. 273–282. doi: 10.1007/978-3-319-11879-6_19
4. Peterson M.P. (ed.) Online Maps with APIs and WebServices. Springer, 2012. 318 p. doi: 10.1007/978-3-642-27485-5
5. Dittrich J., Quiane-Ruiz J.A. Efficient big data processing in Hadoop MapReduce // Proc. VLDB Endowment. 2012. V. 5. N 12. P. 2014–2015.
6. Заславский М.М., Баландин С.И. Метод импорта и обработки открытых данных в LBS-платформе // Научно-технический вестник информационных технологий, механики и оптики. 2016. Т. 16. № 5. С. 816–822. doi: 10.17586/2226-1494-2016-16-5-816-822
7. Abiteboul S. et al. The Lorel query language for semistructured data // International Journal on Digital Libraries. 1997. V. 1. N 1. P. 68–88.
8. Dijcks J.P. Oracle: Big data for the enterprise // Oracle White Paper. 2012.
9. Foote K.E., Lynch M. Geographic Information Systems as an Integrating Technology: Context, Concepts, and Definitions. 1996.
10. Weinreich A.P., Levy J.E., Barron G. Location-Based Services Platform. Patent US8447332. 2013.
11. Nandimath J. et al. Big data analysis using Apache Hadoop // Proc. IEEE 14th Int. Conf. on Information Reuse and Integration (IRI). San Francisco, USA, 2013. P. 700–703. doi: 10.1109/iri.2013.6642536
12. Boy J.D., Uitermark J. How to study the city on Instagram // PloS One. 2016. V. 11. N 6. P. e0158161. doi: 10.1371/journal.pone.0158161
13. Lohan E.S., Kauppinen T., Chandra Debnath S.B. A survey of people movement analytics studies in the context of smart cities // Proc. 19th FRUCT Conference. Jyväskylä, Finland, 2016. doi: 10.23919/fruct.2016.7892195
14. Import Plugin Repository. URL: https://bitbucket.org/EduardBlees/importplugin (дата обращения: 17.04.2017).
15. Inaba M., Katoh N., Imai H. Applications of weighted Voronoi diagrams and randomization to variance-based k-clustering // Proc. 10th ACM Symposium on Computational Geometry. NY, 1994. P. 332–339. doi:10.1145/177424.178042
