Реконструкція супутникових даних за умов хмарності для прогнозування врожайності кукурудзи злиттям мультимодальних знімків
Анотація
Розроблено та апробовано комплексну інтелектуальну систему прогнозування врожайності кукурудзи, що базується на синергії просторово-часової генеративно-змагальної мережі (ST-cGAN) та рекурентної архітектури CNN-LSTM. Застосовано мультимодальне поєднання погодно-незалежних радіолокаційних даних Sentinel-1, метеорологічних чинників ERA5-Land (середньодобова температура та сума опадів) та історичних оптичних спостережень Sentinel-2. Вирішено проблему "біохімічної сліпоти" радіолокаційних сигналів, за якої радар фіксує фізичну структуру рослин, але не здатний оцінити їхню фотосинтетичну активність та обмеження традиційного оптичного зондування земної поверхні, спричинених частою хмарністю. Для цього замість багаточастотного SAR-зондування було застосовано стратегію раннього злиття даних. Мережа ST-cGAN одночасно обробляє поточні SAR-дані для визначення структурного макростану, історичні оптичні дані як останній достовірний біохімічний стан та 10-денну історію метеорологічних показників. Відповідно, якщо радар фіксує високу біомасу, але метеорологічні дані свідчать про посуху, нейромережа математично розпізнає біологічний стрес і синтезує знижені індекси NDVI та NDRE, запобігаючи генерації хибно здорових посівів. Здійснено динамічний синтез пропущених вегетаційних індексів NDVI та NDRE за умов тривалих періодів суцільної хмарності (до 21 дня), при цьому досягнуто високої структурної подібності синтезованих карт (індекс SSIM = 0,89). Введено в архітектуру мережі часові дискримінатори для аналізу послідовностей кадрів, що на 18 % покращило індекс збереження меж полів та мінімізувало появу просторових артефактів на границях угідь. Проведено піксельну регресію для тестової ділянки площею 15 000 га у Західному Лісостепу України на основі реконструйованих часових рядів, які охоплювали 15 критичних фенологічних етапів розвитку культури. Встановлено, що запропонована архітектура нейронної мережі знижує середньоквадратичну помилку прогнозу (RMSE) до 0,48 т/га за коефіцієнта детермінації (R2) 0,90. На основі статистичного аналізу (парний t-тест) доведено вагому перевагу розробленого методу над галузевими алгоритмами заповнення пропусків, зокрема – STARFM, який є неспроможним адекватно моделювати нелінійний стрес посівів без оптичних даних. Представлено масштабовану систему підтримки прийняття рішень для оптимізації логістики збирання врожаю та точного фінансового планування роботи агропідприємств незалежно від атмосферних умов. Окреслено перспективи подальших етапів дослідження, що полягають у дистиляції знань нейромережі для периферійних IoT-пристроїв та інтеграції даних БПЛА.
Завантаження
Посилання
Arai, K., Maruta, R., & Okumura, H. (2026). Method for Generating Pseudo-NDVI from RVI Derived from Satellite-Borne SAR Imagery Data Using CycleGAN and pix2pix Models. Information, 17(2), article number 154. https://doi.org/10.3390/info17020154
Bermudez, J., Happ, P. N., Feitosa, R. Q., & Oliveira, D. A. B. (2019). Synthesis of multispectral optical images from SAR/optical time series using conditional generative adversarial networks. IEEE Geoscience and Remote Sensing Letters, 16(8), 1220–1224. https://doi.org/10.1109/LGRS.2019.2894734
Bukowiecki, J., Rose, T., & Kage, H. (2021). Sentinel-2 Data for Precision Agriculture? A UAV-Based Assessment. Sensors, 21(8), article ID 2861. https://doi.org/10.3390/s21082861
Darbaghshahi, F. N., Mohammadi, M. R., & Soryani, M. (2022). Cloud Removal in Remote Sensing Images Using Generative Adversarial Networks and SAR-to-Optical Image Translation. IEEE Transactions on Geoscience and Remote Sensing, 60, 1–9. https://doi.org/10.48550/arXiv.2012.12180
Ebel, P., Meraner, A., Schmitt, M., & Zhu, X. X. (2020). Multisensor data fusion for cloud removal in global and all-season Sentinel-2 imagery. IEEE Transactions on Geoscience and Remote Sensing, 59(7), 5866–5878. https://doi.org/10.1109/TGRS.2020.3024744
Filippi, P., Han, S. Y., & Bishop, T. F. A. (2025). On crop yield modelling, predicting, and forecasting and addressing the common issues in published studies. Precision Agriculture, 26, article number 8. https://doi.org/10.1007/s11119-024-10212-2
Gao, F., Masek, J., Schwaller, M., & Hall, F. (2006). On the blending of the Landsat and MODIS surface reflectance: Predicting daily Landsat surface reflectance. IEEE Transactions on Geoscience and Remote Sensing, 44(8), 2207–2218. https://doi.org/10.1109/TGRS.2006.872081
Goodfellow, I., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., Courville, A., & Bengio, Y. (2014). Generative adversarial nets. Advances in Neural Information Processing Systems, 27. URL: https://proceedings.neurips.cc/paper/2014/hash/5ca3e9b122f61f8f06494c97b1afccf3-Abstract.html
Gorelick, N., Hancher, M., Dixon, M., Ilyushchenko, S., Thau, D., & Moore, R. (2017). Google Earth Engine: Planetary-scale geospatial analysis for everyone. Remote Sensing of Environment, 202, 18–27. https://doi.org/10.1016/j.rse.2017.06.031
Ienco, D., Interdonato, S., Gaetano, R., & Minh, D. H. (2019). Combining Sentinel-1 and Sentinel-2 satellite image time series for land cover mapping via a multi-source deep learning architecture. ISPRS Journal of Photogrammetry and Remote Sensing, 158, 11–22. https://doi.org/10.1016/j.isprsjprs.2019.09.016
Isola, P., Zhu, J., Zhou, T., & Efros, A. A. (2017). Image-to-image translation with conditional adversarial networks. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 5967–5976. https://doi.org/10.1109/CVPR.2017.632
Khaki, S., & Wang, L. (2019). Crop yield prediction using deep neural networks. Frontiers in Plant Science, 10, article ID 621. https://doi.org/10.3389/fpls.2019.00621
Meyer, H., & Pebesma, E. (2018). Improving performance of machine learning models for geographic data. Nature Communications, 9(1), article ID 3993. https://doi.org/10.1038/s41467-018-02558-0
Muñoz-Sabater, J., Dutra, E., Agustí-Panareda, A., Albergel, C., Arduini, G., Balsamo, G., Boussetta, S., Choulga, M., Harrigan, S., Hersbach, H., Martens, B., Miralles, D. G., Piles, M., Rodríguez-Fernández, N. J., Zsoter, E., Buontempo, C., & Thépaut, J.-N. (2021). ERA5-Land: A state-of-the-art global reanalysis dataset for land applications. Earth System Science Data, 13(9), 4349–4383. https://doi.org/10.5194/essd-13-4349-2021
Pelletier, C., Webb, G. I., & Petitjean, F. (2019). Temporal convolutional neural network for the classification of satellite image time series. Remote Sensing, 11(5), article ID 523. https://doi.org/10.3390/rs11050523
Rußwurm, M., & Körner, M. (2018). Multi-temporal land cover classification with sequential recurrent encoders. ISPRS International Journal of Geo-Information, 7(4), article number 129. https://doi.org/10.3390/ijgi7040129
Schellenberg, K., Jagdhuber, T., Zehner, M., Hese, S., Urban, M., Urbazaev, M., Hartmann, H., Schmullius, C., & Dubois, C. (2023). Potential of Sentinel-1 SAR to Assess Damage in Drought-Affected Temperate Deciduous Broadleaf Forests. Remote Sensing, 15(4), article ID 1004. https://doi.org/10.3390/rs15041004
Schmitt, M., Hughes, L. H., Qiu, C., & Zhu, X. X. (2019). SEN12MS – A curated dataset of georeferenced multi-spectral Sentinel-1/2 imagery for deep learning and data fusion. ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, IV-2/W7, 153–160. https://doi.org/10.5194/isprs-annals-IV-2-W7-153-2019
Schwalbert, F. G., Amado, T. J. C., Nieto, L., Corassa, G. M., Rice, C. W., Peralta, N. R., Schauberger, B., Gornott, C., & Ciampitti, I. A. (2020). Mid-season county-level corn yield forecasts in the US Corn Belt integrating satellite imagery and weather variables. Crop Science, 60(2), 739–750. https://doi.org/10.1002/csc2.20053
Segarra, J., Buchaillot, M. L., Araus, J. L., & Kefauver, S. C. (2020). Remote Sensing for Precision Agriculture: Sentinel-2 Improved Features and Applications. Agronomy, 10(5), article ID 641. https://doi.org/10.3390/agronomy10050641
Singh, D., Kumar, D., & Singh, S. K. (2021). Cloud-free Sentinel-2 image synthesis using Sentinel-1 SAR data via CycleGAN. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 14, 6933–6944. https://doi.org/10.1109/JSTARS.2021.3090267
Xiong, Q., Li, G., Yao, X., & Zhang, X. (2023). SAR-to-optical image translation and cloud removal based on conditional generative adversarial networks: Literature survey, taxonomy, evaluation indicators, limits and future directions. Remote Sensing, 15(4), article ID 1137. https://doi.org/10.3390/rs15041137
You, J., Li, X., Low, M., Lobell, D., & Ermon, S. (2017). Deep Gaussian process for crop yield prediction based on remote sensing data. Proceedings of the AAAI Conference on Artificial Intelligence, 31(1), 4590–4596. https://doi.org/10.1609/aaai.v31i1.11172
