Методи оброблення та заповнення пропущених параметрів у даних екологічного моніторингу


  • O. S. Mishchuk Національний університет "Львівська політехніка", м. Львів https://orcid.org/0000-0001-6823-985X
  • R. O. Tkachenko Національний університет "Львівська політехніка", м. Львів https://orcid.org/0000-0002-9802-6799
Ключові слова: пропуски в даних; оброблення пропущених елементів; методи заповнення пропусків; регресійне моделювання

Анотація

Сьогодні існує багато методів відновлення пропущених параметрів у даних, але для кожної області застосування використовують різні методи заповнення пропусків. У роботі проаналізовано такі методи оброблення пропусків: видалення елементів з пропусками, метод зважування та заповнення пропущених параметрів. Описано механізми утворення пропущених параметрів, за яких ймовірність пропусків для кожного запису набору однакова, за яких ймовірність пропусків визначається на основі іншої наявної інформації без пропусків та за яких дані відсутні залежно від невідомих чинників. Проаналізовано методи заповнення пропущених параметрів у даних екологічного моніторингу, такі як: методи середнього значення, наївного прогнозу та регресійного моделювання. Описано такі методи відновлення пропусків на основі регресійного моделювання: багатошаровий персептрон; Adaptive Boosting; метод опорних векторів; Random Forest та метод лінійної регресії з використанням стохастичного градієнтного спуску. Виконано порівняння найпростіших методів заповнення пропусків та методів відновлення пропусків на основі регресійних моделей. Експериментально доведено, що попередньо розроблений метод заповнення пропусків на основі нейроподібної структури моделі послідовних геометричних перетворень є найефективнішим методом, оскільки показує найточніші результати.

Біографії авторів

O. S. Mishchuk, Національний університет "Львівська політехніка", м. Львів

асистент, кафедра інформаційних технологій видавничої справи

R. O. Tkachenko, Національний університет "Львівська політехніка", м. Львів

д-р техн. наук, професор, завідувач кафедри інформаційних технологій видавничої справи

Посилання

De Vito, S., Piga, M., Martinotto, L., & Di Francia, G. (2009). CO, NO2 and NOx urban pollution monitoring with on-field calibrated electronic nose by automatic Bayesian regularization. Sensors and Actuators B: Chemical, 143(1), 182–191.
Graham, J. W., Olchowski, A. E., & Gilreath, T. D. (2007). How many imputations are really needed? Some practical clarifications of multiple imputation theory. Prevention Science, 8, 206–213.
Izonin, I. V., & Tkachenko, R. O. (2019). Komitet neiropodibnykh struktur MPHP z polinomialnym rozshyrenniam vkhodiv dlia zadach Velykykh danykh. In V. S. Ponomarenko (Ed.), Informatsiina bezpeka ta informatsiini tekhnolohii. Kharkiv: TOV "DISA PLYuS", 322 p. [In Ukrainian].
Izonin, I. V., Tkachenko, R. O., Peleshko, D. D., & Batiuk, D. A. (2015). Neiromerezhevyi metod zminy rozdilnoi zdatnosti zobrazhen. Systemy obroblennia informatsii, 9(134), 30–34. [In Ukrainian].
Karahalios, A., Baglietto, L., Carlin, J. D., English, D. R., & Simpson, J. A. (2012). A review of the reporting and handling of missing data in cohort studies with repeated assessment of exposure measures. BMC Med Res Methodology, 12, 96 p.
Maltsev, K. A., & Mukharamova, S. S. (2011). Statystychnyi analiz danykh v ekolohii ta pryrodokorystuvanni. Kazan: Kazanskyi (Pryvolzhskyi) federalnyi universytet. [In Ukrainian].
Newman, D. (2014). Missing Data: Five Practical Guidelines. Organizational Research Methods, 17(4), 372–411.
Shypulin, V. D. (2012). Osnovni pryntsypy heoinformatsiinykh system. Kharkiv: KhNAMH, 312 p. [In Ukrainian].
Tkachenko, R. O., Tkachenko, P. R., Izonin, I. V., & Batiuk, D. A. (2017). Metody predvaritelnoi obrabotki izobrazhenii na osnove neiroparadigmy Model geometricheskikh preobrazovanii. Upravliaiushhie sistemy i mashiny, 1(267), 59–67. [In Russian].
Tkachenko, R., Cutucu, H., Izonin, I., Doroshenko, A., & Tsymbal, Yu. (2018). Non-iterative Neural-like Predictor for Solar Energy in Libya. In V. Ermolayev, M. C. Suárez-Figueroa, A. Ławrynowicz, R. Palma, V. Yakovyna, H. C. Mayr, M. Nikitchenko, & A. Spivakovsky (Eds), ICT in Education, Research and Industrial Applications: Proc. 14-th Int. Conf. ICTERI, May 14–17, 2018. (Vol. 1, pp. 35–45). Kyiv. CEUR-WS.org
Van Buuren, S. (2012). Flexible Imputation of Missing Data. Chapman and Hall. CRC, 342 p.
Опубліковано
2019-06-27
Як цитувати
Mishchuk, O. S., & Tkachenko, R. O. (2019). Методи оброблення та заповнення пропущених параметрів у даних екологічного моніторингу. Науковий вісник НЛТУ України, 29(6), 119-122. https://doi.org/10.15421/40290623
Розділ
Інформаційні технології галузі