Вдосконалення методу групування енергетичних даних у системі багаторівневого управління енергоефективністю економіки регіону


  • I. H. Tsmots Національний університет "Львівська політехніка", м. Львів
  • V. I. Roman Національний університет "Львівська політехніка", м. Львів
Ключові слова: сховище даних; розподілені системи; агрегація даних; електроенергетика; MapReduce; BigData

Анотація

Визначено основні причини повільного виконання операцій складного групування енергетичних даних у багаторівневих розподілених системах збереження даних, основні проблеми продуктивності методу MapReduce та методи його оптимізації. Розглянуто основні вимоги до системи багаторівневого управління енергоефективністю регіону, архітектуру та компоненти такої системи, запропоновано методи її вдосконалення. Розглянуто основні характеристики енергетичних даних, методи їх опрацювання, запропоновано оптимальну структуру збереження таких даних. Наведено основні механізми та методи швидкої вставки нових даних у систему та динамічного репартиціонування для забезпечення рівномірного розподілу даних у системі. Розроблено архітектуру системи збереження та опрацювання енергетичних даних. Розроблено метод партиціонування даних на основі методу MapReduce та структуру розподіленої системи збереження даних, яка забезпечує збереження даних з однаковими значеннями полів у одній партиції даних, тобто на одному комп'ютері. Цей метод партиціонуання збирає в одну партицію записи з однаковими значеннями по полях, за якими будуть здійснюватися операції групування та агрегації. Такий підхід дає змогу зменшити час виконання та об'єми даних, які будуть транспортуватися по мережі під час виконання запитів групування та агрегації даних із використанням методу MapReduce. Також розроблена структура системи допомагає оптимізувати операції фільтрування даних.

Біографії авторів

I. H. Tsmots, Національний університет "Львівська політехніка", м. Львів

д-р техн. наук, професор, завідувач кафедри автоматизованих систем управління

V. I. Roman, Національний університет "Львівська політехніка", м. Львів

аспірант, кафедра автоматизованих систем управління

Посилання

Bloom filter. (2018). Retrieved from: https://en.wikipedia.org/wiki/Bloom_filter
Cassandra data model. (2018). Retrieved from: https://shermandigital.com/blog/designing-a-cassandra-data-model/
Data locality in Hadoop. (2018). Retrieved from: https://data-flair.training/blogs/data-locality-in-hadoop-mapreduce/
Druid Architecture. (2018). Retrieved from: https://dev.to/rusrushal13/learning-about-the-druid-architecture-184c
Druid Segmets. (2018). Retrieved from: http://druid.io/docs/latest/design/segments.html
Elasticsearch aggregation. (2018). Retrieved from: https://www.elastic.co/guide/en/elasticsearch/reference/6.4/search-aggregations.html
Elasticsearch indexing. (2018). Retrieved from: https://www.elastic.co/guide/en/elasticsearch/guide/current/index-doc.html
HBase Rowkey Design. (2018). Retrieved from: http://hbase.apache.org/0.94/book/rowkey.design.html
HyperLogLog. (2018). Retrieved from: https://en.wikipedia.org/wiki/HyperLogLog
Inmon, W. H. (2002). Building the Data Warehouse. (4th ed.). Wiley Computer Publishing.
MapReduce. (2018). Retrieved from: https://en.wikipedia.org/wiki/MapReduce
MongoDB aggregation. (2018). Retrieved from: https://docs.mongodb.com/manual/aggregation/
MongoDB sharding. (2018). Retrieved from: https://docs.mongodb.com/manual/sharding/
OLAP. (2018). Retrieved from: https://en.wikipedia.org/wiki/Online_analytical_processing
Pivniak, H. H., Vypanasenko, S. I., Khovanska, O. I., Khatskevych, yu. V., & Dreshpak, N. S. (2013). Systemy enerhomenedzhmentu ta yikh matematychne zabezpechennia. Dnipropetrovsk: NHU. [In Ukrainian].
Table partitioning strategies. (2018). Retrieved from: https://docs.oracle.com/database/121/VLDBG/GUID-6CE884AF-84A4-4E6A-A3EF-DCCEBCAB2DB2.htm#VLDBG00202.
Tesliuk, T. V., Tsmots, I. H., Opotiak, yu. V., & Tesliuk, V. M. (2017a). Arkhitektura bahatorivnevoi systemy upravlinnia enerhoefektyvnistiu rehionu. Bulletin of the National University "Lviv Polytechnic". Series: Computer Science and Information Technology, 864, 201–209. [In Ukrainian].
Teslyuk, T., Tsmots, I. G., Teslyuk, V., Medykovskyy, M., & Opotyak, Y. (2017b). Architecture and Models for System-Level Computer-Aided Design of the Management System of Energy Efficiency of Technological Processes at the Enterprise. Automation 2017. International Conference Automation 2017. Advances in Intelligent Systems and Computing, 689, 538–557.
Tsmots, I. H., Tsymbal, yu. V., Roman, V. I., & Sydorenko, R. V. (2018). Zasoby zberezhennia, opratsiuvannia ta zakhystu danykh bahatorivnevoi systemy upravlinnia enerhoefektyvnistiu rehionu. Scientific Bulletin of UNFU, 28(2), 137–143. https://doi.org/10.15421/40280226
Опубліковано
2019-02-28
Як цитувати
Tsmots, I. H., & Roman, V. I. (2019). Вдосконалення методу групування енергетичних даних у системі багаторівневого управління енергоефективністю економіки регіону. Науковий вісник НЛТУ України, 29(1), 116-120. https://doi.org/10.15421/40290125
Розділ
Інформаційні технології галузі