Проблеми та перспективи використання неструктурованих даних
Анотація
Проаналізовано неструктуровані дані, сучасні підходи до їх оброблення, а також визначено проблеми і перспективи їх використання в інформаційних системах, зокрема у сфері надзвичайних ситуацій (НС). Виявлено, що неструктуровані дані становлять переважну частину сучасних інформаційних ресурсів і є потенційно цінним джерелом знань для аналізу та прогнозування настання подій. Встановлено, що стрімке зростання обсягів неструктурованих цифрових даних, їх різнорідність і відсутність уніфікованої структури істотно ускладнюють застосування традиційних методів їх оброблення та інтеграції в аналітичні системи. З'ясовано, що класичні підходи до виявлення та відбору знань, орієнтовані на структуровані дані, не забезпечують належної ефективності під час роботи з неструктурованою інформацією. Оцінено вплив ключових проблем на ефективність аналітичного використання неструктурованих даних, серед яких визначено семантичну неоднозначність, інформаційний шум, недостатню якість і актуальність даних, а також обмеженість наявних технологічних рішень. Охарактеризовано особливості використання неструктурованих даних у сфері НС, де вони виступають джерелом оперативної інформації для аналізу, моніторингу та прогнозування критичних подій. Систематизовано основні напрями застосування методів оброблення природної мови, машинного навчання, когнітивного аналізу та логічного моделювання для перетворення неструктурованої інформації у форму, придатну для подальшого аналітичного опрацювання. Узагальнено роль неструктурованих даних у доповненні офіційних джерел інформації, уточненні просторово-часового контексту подій і підвищенні оперативності реагування на загрози. Встановлено, що ефективне використання неструктурованих даних потребує комплексного підходу, який поєднує методи оброблення природної мови, машинного навчання, когнітивного аналізу та логічного моделювання. З'ясовано, що перспективним напрямом подальшого використання неструктурованих даних у сфері НС є створення інтегрованих інформаційних систем, здатних забезпечити збирання, оброблення та структуризацію даних з різнорідних джерел у режимі реального часу, що підвищує ефективність роботи систем підтримки прийняття рішень (СППР) у сфері НС. Обґрунтовано доцільність проведення подальших досліджень, спрямованих на розроблення масштабованих архітектур інформаційно-аналітичних систем і гібридних аналітичних підходів до оброблення неструктурованих даних для використання неструктурованих даних у критично важливих сферах.
Завантаження
Посилання
Azad, P., Navimipour, N. J., & Rahmani, A. M. (2020). The role of structured and unstructured data managing mechanisms in the Internet of Things. Cluster Computing, 23, 1185–1198. https://doi.org/10.1007/s10586-019-02986-2
Fayyad, U., Piatetsky-Shapiro, G., & Smyth, P. (1996). From data mining to knowledge discovery in databases. AI Magazine, 17(3), 37–54. https://doi.org/10.1609/aimag.v17i3.1230
Gandomi, A., & Haider, M. (2015). Beyond the hype: Big data concepts, methods, and analytics. International Journal of Information Management, 35(2), 137–144. https://doi.org/10.1016/j.ijinfomgt.2014.10.007
Guerra-Hernandez, A., Mondragon-Becerra, R., & Cruz-Ramirez, N. (2008). Explorations of the BDI multi-agent support for the knowledge discovery in databases process. Research in Computing Science, 39, 221–238. URL: https://www.researchgate.net/publication/236373188_Explorations_of_the_BDI_Multi-agent_support_for_the_Knowledge_Discovery_in_Databases_Process
Halcu, I., Neculoiu, G., & Marinescu, V. (2013). Converting unstructured and semi-structured data into knowledge. In Proceedings of RoEduNet International Conference, pp. 1–4. https://doi.org/10.1109/RoEduNet.2013.6511736
Katal, A., Wazid, M., & Goudar, R. H. (2013). Big data: Issues, challenges, tools and good practices. In 2013 Sixth International Conference on Contemporary Computing (IC3) (pp. 404–409). IEEE. https://doi.org/10.1109/IC3.2013.6612229
Khlevnoi, O., Burak, N., Borzov, Y., & Raita, D. (2023). Neural network analysis of evacuation flows according to video surveillance cameras. In: Babichev, S., & Lytvynenko, V. (Eds.). Lecture Notes in Data Engineering, Computational Intelligence, and Decision Making. ISDMCI 2022 (Vol. 149, pp. 349–361). Cham: Springer. https://doi.org/10.1007/978-3-031-16203-9_35
Ma, Z., Li, L., Mao, Y., Wang, Y., Patsy, O. G., Bensi, M. T., Hemphill, L., & Baecher, G. B. (2024). Surveying the use of social media data and natural language processing techniques to investigate natural disasters. Natural Hazards Review, 25(4), article ID 03124003. https://doi.org/10.1061/NHREFO.NHENG-2047
McKendrick, J. (2011). Survey on unstructured data. Unisphere Research. Retrieved July 1, 2025, URL: http://www.ciosummits.com/media/pdf/solution_spotlight/marklogic_2011-survey.pdf
Oleshchenko, L. M. (2021). Technologies for processing big data. Kyiv: KPI im. Ihoria Sikorskoho. [In Ukrainian]. URL: https://ela.kpi.ua/items/4ad484d3-aa21-4f7e-be09-a6d8e1d1e8bc
Onwujekwe, G., Osei-Bryson, K.-M., & Ngwum, N. (2020). A framework for capturing and analyzing unstructured and semi-structured data for a knowledge management system. In: Wyld, D. C., & Nagamalai, D. (Eds.). Proceedings of the 9th International Conference on Advanced Information Technologies and Applications (ICAITA 2020), Computer Science & Information Technology, 10(9), 83–94. https://doi.org/10.5121/csit.2020.100907
Rohushyna, Y. V. (2019). Means and methods for analyzing unstructured data. Programming Problems, 1, 57–77. [In Ukrainian]. URL: https://pp.isofts.kiev.ua/ojs1/article/view/348/346
Sint, R., Shaffert, S., Stroka, S., & Ferstl, R. (2009). Combining unstructured, fully structured and semi-structured information in semantic wikis. In Proceedings of the 4th Semantic Wiki Workshop (SemWiki 2009) at the 6th European Semantic Web Conference (ESWC) (pp. 73–80). Hersonissos, Greece. URL: https://ceur-ws.org/Vol-464/paper-14.pdf
Staso, O. R., & Burak, N. Ye. (2023). Probabilistic and statistical methods of intelligent data analysis. In Achievements of 21st Century Scientific Community: Proceedings of the I International Scientific and Practical Internet Conference (pp. 426–429). WayScience, September 14–15, 2023. [In Ukrainian]. URL: https://www.wayscience.com/wp-content/uploads/2023/09/Conference-Proceedings-September-14-15-2023.pdf
Tan, W. C. (2023). Unstructured and structured data: Can we have the best of both worlds with large language models? arXiv. https://doi.org/10.48550/arXiv.2304.13010
Tao, J., Wang, P., Jiang, H., & Han, Y. (2026). A knowledge-formalization and vision-language-model system for fire emergency decision support. Advanced Engineering Informatics, vol. 71, part C, article ID 104409. https://doi.org/10.1016/j.aei.2026.104409
