Вдосконалення методу групування енергетичних даних у системі багаторівневого управління енергоефективністю економіки регіону
Анотація
Визначено основні причини повільного виконання операцій складного групування енергетичних даних у багаторівневих розподілених системах збереження даних, основні проблеми продуктивності методу MapReduce та методи його оптимізації. Розглянуто основні вимоги до системи багаторівневого управління енергоефективністю регіону, архітектуру та компоненти такої системи, запропоновано методи її вдосконалення. Розглянуто основні характеристики енергетичних даних, методи їх опрацювання, запропоновано оптимальну структуру збереження таких даних. Наведено основні механізми та методи швидкої вставки нових даних у систему та динамічного репартиціонування для забезпечення рівномірного розподілу даних у системі. Розроблено архітектуру системи збереження та опрацювання енергетичних даних. Розроблено метод партиціонування даних на основі методу MapReduce та структуру розподіленої системи збереження даних, яка забезпечує збереження даних з однаковими значеннями полів у одній партиції даних, тобто на одному комп'ютері. Цей метод партиціонуання збирає в одну партицію записи з однаковими значеннями по полях, за якими будуть здійснюватися операції групування та агрегації. Такий підхід дає змогу зменшити час виконання та об'єми даних, які будуть транспортуватися по мережі під час виконання запитів групування та агрегації даних із використанням методу MapReduce. Також розроблена структура системи допомагає оптимізувати операції фільтрування даних.
Завантаження
Посилання
Cassandra data model. (2018). Retrieved from: https://shermandigital.com/blog/designing-a-cassandra-data-model/
Data locality in Hadoop. (2018). Retrieved from: https://data-flair.training/blogs/data-locality-in-hadoop-mapreduce/
Druid Architecture. (2018). Retrieved from: https://dev.to/rusrushal13/learning-about-the-druid-architecture-184c
Druid Segmets. (2018). Retrieved from: http://druid.io/docs/latest/design/segments.html
Elasticsearch aggregation. (2018). Retrieved from: https://www.elastic.co/guide/en/elasticsearch/reference/6.4/search-aggregations.html
Elasticsearch indexing. (2018). Retrieved from: https://www.elastic.co/guide/en/elasticsearch/guide/current/index-doc.html
HBase Rowkey Design. (2018). Retrieved from: http://hbase.apache.org/0.94/book/rowkey.design.html
HyperLogLog. (2018). Retrieved from: https://en.wikipedia.org/wiki/HyperLogLog
Inmon, W. H. (2002). Building the Data Warehouse. (4th ed.). Wiley Computer Publishing.
MapReduce. (2018). Retrieved from: https://en.wikipedia.org/wiki/MapReduce
MongoDB aggregation. (2018). Retrieved from: https://docs.mongodb.com/manual/aggregation/
MongoDB sharding. (2018). Retrieved from: https://docs.mongodb.com/manual/sharding/
OLAP. (2018). Retrieved from: https://en.wikipedia.org/wiki/Online_analytical_processing
Pivniak, H. H., Vypanasenko, S. I., Khovanska, O. I., Khatskevych, yu. V., & Dreshpak, N. S. (2013). Systemy enerhomenedzhmentu ta yikh matematychne zabezpechennia. Dnipropetrovsk: NHU. [In Ukrainian].
Table partitioning strategies. (2018). Retrieved from: https://docs.oracle.com/database/121/VLDBG/GUID-6CE884AF-84A4-4E6A-A3EF-DCCEBCAB2DB2.htm#VLDBG00202.
Tesliuk, T. V., Tsmots, I. H., Opotiak, yu. V., & Tesliuk, V. M. (2017a). Arkhitektura bahatorivnevoi systemy upravlinnia enerhoefektyvnistiu rehionu. Bulletin of the National University "Lviv Polytechnic". Series: Computer Science and Information Technology, 864, 201–209. [In Ukrainian].
Teslyuk, T., Tsmots, I. G., Teslyuk, V., Medykovskyy, M., & Opotyak, Y. (2017b). Architecture and Models for System-Level Computer-Aided Design of the Management System of Energy Efficiency of Technological Processes at the Enterprise. Automation 2017. International Conference Automation 2017. Advances in Intelligent Systems and Computing, 689, 538–557.
Tsmots, I. H., Tsymbal, yu. V., Roman, V. I., & Sydorenko, R. V. (2018). Zasoby zberezhennia, opratsiuvannia ta zakhystu danykh bahatorivnevoi systemy upravlinnia enerhoefektyvnistiu rehionu. Scientific Bulletin of UNFU, 28(2), 137–143. https://doi.org/10.15421/40280226
Авторське право (c) 2018 http://creativecommons.org/licenses/by/4.0
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
