Ефективне міжракурсне зіставлення зображень, отриманих з камер БПЛА
Анотація
Розглянуто завдання візуальної геолокації безпілотних літальних апаратів за умови деградації GNSS та проаналізовано особливості застосування крос-в'ю підходів типу Sample4Geo на бортовому обладнанні за обмежених ресурсів. Досліджено поведінку компактних екстракторів ознак у фреймворку Sample4Geo та проаналізовано вплив систематичного зменшення їх ємності, конфігурації навчання та роздільної здатності вхідних зображень на точність крос-в'ю геолокації. Запроваджено уніфікований протокол оцінювання фреймворку на стандартному крос-в'ю наборі даних та виконано навчання низки згорткових і трансформерних архітектур (ConvNeXt-Base/Nano, ViT-Small/Tiny, MobileNetV3/V4, LeViT) за спільними базовими налаштуваннями за роздільної здатності 224×224 із подальшим цілеспрямованим пошуком гіперпараметрів. Досліджено особливості масштабування роздільної здатності зображення шляхом повторного навчання налаштованих моделей для 384×384 та змодельовано перелік ефективності за показниками Recall@1 і кількості навчовуваних параметрів. Показано, що компактні бекбони забезпечують конкурентну точність уже за простої одноепохової схеми навчання, а налаштування гіперпараметрів дає істотний додатковий приріст для MobileNetV4 і ViT-Small та підтверджує достатність майже однакового режиму навчання для ConvNeXt-Nano, ViT-Tiny і MobileNetV3. Встановлено, що підвищення роздільної здатності вхідних зображень стабільно покращує результати роботи всіх моделей. При цьому ConvNeXt-Nano наближається за точністю до ConvNeXt-Base, залишаючись значно компактнішою, а ViT-Small перевершує ViT-Tiny за наявності детальнішої просторової інформації. Побудовано множину Парето, на якому MobileNetV3 та ViT-Tiny визначено як привабливі варіанти за дуже низької ємності, а ConvNeXt-Nano окреслено як "точку згину" з вигідним компромісом між точністю та розміром моделі для бортового застосування. Сформульовано практичні рекомендації щодо вибору екстракторів ознак і параметрів навчання для ресурсно-обмеженої крос-в'ю геолокації та окреслено напрями етапів подальшого дослідження, пов'язаних з аналізом затримок та енергоспоживання на реальних платформах БПЛА.
Завантаження
Посилання
Arandjelović, R., Gronat, P., Torii, A., Pajdla, T., & Sivic, J. (2018). NetVLAD: CNN Architecture for Weakly Supervised Place Recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, 40(6), 1437–1451. https://doi.org/10.1109/TPAMI.2017.2711011
Campos, C., Elvira, R., Rodríguez, J. J. G., M. Montiel, J. M., & D. Tardós, J. (2021). ORB-SLAM3: An Accurate Open-Source Library for Visual, Visual – Inertial, and Multimap SLAM. IEEE Transactions on Robotics, 37(6), 1874–1890. https://doi.org/10.1109/TRO.2021.3075644
Deuser, F., Habel, K., & Oswald, N. (2023). Sample4Geo: Hard Negative Sampling For Cross-View Geo-Localisation. arXiv [Cs.CV]. URL: http://arXiv.org/abs/2303.11851
Ding, L., Zhou, J., Meng, L., & Long, Z. (2021). A Practical Cross-View Image Matching Method between UAV and Satellite for UAV-Based Geo-Localization. Remote Sensing, 13(1), article ID 47. https://doi.org/10.3390/rs13010047
Ding, X., Zhang, X., Song, S., Li, B., Hui, L., & Dai, Y. (2025). Cross-View Geo-Localization via 3D Gaussian Splatting-Based Novel View Synthesis. Remote Sensing, 17(22), article ID 3673. https://doi.org/10.3390/rs17223673
Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., … Houlsby, N. (2021). An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. arXiv [Cs.CV]. URL: http://arXiv.org/abs/2010.11929
Graham, B., El-Nouby, A., Touvron, H., Stock, P., Joulin, A., Jégou, H., & Douze, M. (2021, October). LeViT: A Vision Transformer in ConvNets Clothing for Faster Inference. Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 12259–12269. https://doi.org/10.1109/ICCV48922.2021.01204
Howard, A., Sandler, M., Chu, G., Chen, L.-C., Chen, B., Tan, M., … Adam, H. (2019, October). Searching for MobileNetV3. Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). https://doi.org/10.1109/ICCV.2019.00140
Hu, S., Feng, M., Nguyen, R. M. H., & Lee, G. H. (2018). CVM-Net: Cross-View Matching Network for Image-Based Ground-to-Aerial Geo-Localization. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 7258–7267. https://doi.org/10.1109/CVPR.2018.00758
Liao, Y., Su, J., Ma, D., & Niu, C. (2025). UAV-Satellite Cross-View Image Matching Based on Adaptive Threshold-Guided Ring Partitioning Framework. Remote Sensing, 17(14), article ID 2448. https://doi.org/10.3390/rs17142448
Loshchilov, I., & Hutter, F. (2019). Decoupled Weight Decay Regularization. arXiv [Cs.LG]. URL: http://arXiv.org/abs/1711.05101
Oquab, M., Darcet, T., Moutakanni, T., Vo, H., Szafraniec, M., Khalidov, V., … Bojanowski, P. (2024). DINOv2: Learning Robust Visual Features without Supervision. arXiv [Cs.CV]. URL: http://arXiv.org/abs/2304.07193
Qin, D., Leichner, C., Delakis, M., Fornoni, M., Luo, S., Yang, F., … Howard, A. (2024). MobileNetV4: Universal Models for the Mobile Ecosystem. Computer Vision – ECCV 2024: 18th European Conference, Milan, Italy, September 29–October 4, 2024, Proceedings, Part XL, 78–96. Presented at the Milan, Italy. https://doi.org/10.1007/978-3-031-73661-2_5
Shi, Y., Liu, L., Yu., X., & Li, H. (2019). Spatial-Aware Feature Aggregation for Image based Cross-View Geo-Localization. In H. Wallach, H. Larochelle, A. Beygelzimer, F. dtextquotesingle Alché-Buc, E. Fox, & R. Garnett (Eds). Advances in Neural Information Processing Systems (Vol. 32). URL: https://proceedings.neurips.cc/paper_files/paper/2019/file/ba2f0015122a5955f8b3a50240fb91b2-Paper.pdf
Todi, A., Narula, N., Sharma, M., & Gupta, U. (2023). ConvNext: A Contemporary Architecture for Convolutional Neural Networks for Image Classification. 2023 3rd International Conference on Innovative Sustainable Computational Technologies (CISCT), pp. 1–6. https://doi.org/10.1109/CISCT57197.2023.10351320
Wang, T., Zheng, Z., Yan, C., Zhang, J., Sun, Y., Zheng, B., & Yang, Y. (2022). Each Part Matters: Local Patterns Facilitate Cross-View Geo-Localization. IEEE Transactions on Circuits and Systems for Video Technology, 32(2), 867–879. https://doi.org/10.1109/TCSVT.2021.3061265
Wang, T., Zheng, Z., Zhu, Z., Sun, Y., Yan, C., & Yang, Y. (2024). Learning Cross-View Geo-Localization Embeddings via Dynamic Weighted Decorrelation Regularization. IEEE Transactions on Geoscience and Remote Sensing, 62, 1–12. https://doi.org/10.1109/TGRS.2024.3491757
Workman, S., Souvenir, R., & Jacobs, N. (2015). Wide-Area Image Geolocalization with Aerial Reference Imagery. IEEE International Conference on Computer Vision (ICCV), 1–9. https://doi.org/10.1109/ICCV.2015.451
Zheng, Z., Wei, Y., & Yang, Y. (2020). University-1652: A Multi-view Multi-source Benchmark for Drone-based Geo-localization. Proceedings of the 28th ACM International Conference on Multimedia, 1395–1403. Presented at the Seattle, WA, USA. https://doi.org/10.1145/3394171.3413896
Zhu, R., Yang, M., Yin, L., Wu, F., & Yang, Y. (2023). UAVs Status Is Worth Considering: A Fusion Representations Matching Method for Geo-Localization. Sensors, 23(2), article ID 720. https://doi.org/10.3390/s23020720
Zhu, S., Shah, M., & Chen, C. (2022). TransGeo: Transformer Is All You Need for Cross-view Image Geo-localization. arXiv [Cs.CV]. URL: http://arXiv.org/abs/2204.00097
Zhu, S., Yang, T., & Chen, C. (2021). VIGOR: Cross-View Image Geo-localization beyond One-to-one Retrieval. arXiv [Cs.CV]. URL: http://arXiv.org/abs/2011.12172
Zhu, Y., Yang, H., Lu, Y., & Huang, Q. (2023). Simple, Effective and General: A New Backbone for Cross-view Image Geo-localization. arXiv [Cs.CV]. URL: http://arXiv.org/abs/2302.01572
Zhuang, J., Dai, M., Chen, X., & Zheng, E. (2021). A Faster and More Effective Cross-View Matching Method of UAV and Satellite Images for UAV Geolocalization. Remote Sensing, 13(19), article ID 3979. https://doi.org/10.3390/rs13193979
