Алгоритмічне та програмне забезпечення високоточної локалізації мобільних об'єктів на основі мультимодального злиття даних
Анотація
Розглянуто завдання неперервного визначення просторового положення рухомих платформ у середовищах, де сигнали глобальних навігаційних супутникових систем GNSS (англ. Global Navigation Satellite System) ослаблені, спотворені перевідбиттям або відсутні повністю. Запропоновано алгоритмічне ядро, що поєднує помилково-станний розширений фільтр Калмана з 15-вимірним вектором помилок, проміжне злиття геометричних та семантичних ознак й адаптивне зважування спостережень за поточними показниками якості кожної модальності. Розроблено дворівневу архітектуру програмного забезпечення (ПЗ), у якій ресурсомісткі обчислення винесено на бортовий модуль мовою C++, а візуалізацію телеметрії реалізовано крос-платформним клієнтом на фреймворках React Native та TypeScript. Виконано експеримент методом Монте-Карло із 50 реалізацій руху об'єкта вздовж криволінійної траєкторії завдовжки 183,8 м тривалістю 120 с з імітацією похибок інерціального модуля, лазерного сканера і відеокамери. Встановлено, що некоригована інерціальна одометрія втрачає працездатність уже на десятій секунді руху об'єкта, а її остаточна похибка сягає 8376 метрів. З'ясовано, що запропоноване адаптивне злиття даних утримує середньоквадратичну похибку положення на рівні 0,159±0,052 м, що на 45,7 % менше, ніж для візуально-інерціальної одометрії з розв'язаним масштабом, і відповідає відносному дрейфу 0,13 % пройденого шляху. Оцінено вплив деградації сигналу: за туману, коли точність лазерного сканування мобільного об'єкта знижується у 3,5 раза, похибка лідарно-інерціального контуру зростає до 0,715 м, тоді як адаптивне злиття даних утримує 0,337 м, а за 30-секундної втрати лазерного сканера різниця сягає двох порядків. Виявлено, що адаптивне перерахування коваріаційної матриці спостережень дає виграш саме за деградації модальностей, тоді як за номінальних умов його внесок статистично незначущий. Охарактеризовано закономірності накопичення похибки сканування об'єкта та обґрунтовано доцільність застосування комплексу для автономних платформ, які працюють поза зоною впевненого приймання супутникового сигналу.
Завантаження
Посилання
Besl, P. J., & McKay, N. D. (1992). A method for registration of 3-D shapes. IEEE Transactions on Pattern Analysis and Machine Intelligence, 14(2), 239–256. https://doi.org/10.1109/34.121791
Bijelic, M., Gruber, T., & Ritter, W. (2018). A benchmark for lidar sensors in fog: Is detection breaking down? 2018 IEEE Intelligent Vehicles Symposium (IV), pp. 760–767. https://doi.org/10.1109/IVS.2018.8500543
Biørn-Hansen, A., Rieger, C., Grønli, T.-M., Majchrzak, T. A., & Ghinea, G. (2020). An empirical investigation of performance overhead in cross-platform mobile development frameworks. Empirical Software Engineering, 25(4), 2997–3040. https://doi.org/10.1007/s10664-020-09827-6
Cadena, C., Carlone, L., Carrillo, H., Latif, Y., Scaramuzza, D., Neira, J., Reid, I., & Leonard, J. J. (2016). Past, present, and future of simultaneous localization and mapping: Toward the robust-perception age. IEEE Transactions on Robotics, 32(6), 1309–1332. https://doi.org/10.1109/TRO.2016.2624754
Caltagirone, L., Bellone, M., Svensson, L., & Wahde, M. (2019). LIDAR – camera fusion for road detection using fully convolutional neural networks. Robotics and Autonomous Systems, article number 111, 125–131. https://doi.org/10.1016/j.robot.2018.11.002
Campos, C., Elvira, R., Gómez Rodríguez, J. J., Montiel, J. M. M., & Tardós, J. D. (2021). ORB-SLAM3: An accurate open-source library for visual, visual-inertial, and multimap SLAM. IEEE Transactions on Robotics, 37(6), 1874–1890. https://doi.org/10.1109/TRO.2021.3075644
Chen, P., Zhao, X., Zeng, L., Liu, L., Liu, S., Sun, L., Li, Z., Chen, H., Liu, G., Qiao, Z., et al. (2025). A Review of Research on SLAM Technology Based on the Fusion of LiDAR and Vision. Sensors, 25, article ID 1447. https://doi.org/10.3390/s25051447
Dellaert, F., & Kaess, M. (2017). Factor graphs for robot perception. Foundations and Trends in Robotics, 6(1–2), 1–139. https://doi.org/10.1561/2300000043
Fan, Z., Zhang, L., Wang, X., et al. (2025). LiDAR, IMU, and camera fusion for simultaneous localization and mapping: a systematic review. Artif Intell Rev, 58, article ID 174. https://doi.org/10.1007/s10462-025-11187-w
Feng, D., Haase-Schütz, C., Rosenbaum, L., Hertlein, H., Gläser, C., Timm, F., Wiesbeck, W., & Dietmayer, K. (2021). Deep multi-modal object detection and semantic segmentation for autonomous driving: Datasets, methods, and challenges. IEEE Transactions on Intelligent Transportation Systems, 22(3), 1341–1360. https://doi.org/10.1109/TITS.2020.2972974
Fischler, M. A., & Bolles, R. C. (1981). Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography. Communications of the ACM, 24(6), 381–395. https://doi.org/10.1145/358669.358692
Fu, S., Zhao, Q., Tao, Q., Liu, H., Wang, Q., & Liu, D. (2026). Indoor mobile robot localization system based on ORB-SLAM3 and multi-sensor fusion. Alexandria Engineering Journal, 137, 194–205. https://doi.org/10.1016/j.aej.2026.01.029
Groves, P. D. (2013). Principles of GNSS, inertial, and multisensor integrated navigation systems (2nd ed.). Boston: Artech House. 776 p. URL: https://www.researchgate.net/ publication/224969497_Principles_of_GNSS_Inertial_and_Multisensor_Integrated_Navigation_Systems_Second_Edition
Guo, Y., Wang, H., Hu, Q., Liu, H., Liu, L., & Bennamoun, M. (2021). Deep learning for 3D point clouds: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence, 43(12), 4338–4364. https://doi.org/10.1109/TPAMI.2020.3005434
He, K., Gkioxari, G., Dollár, P., & Girshick, R. (2020). Mask R-CNN. IEEE Transactions on Pattern Analysis and Machine Intelligence, 42(2), 386–397. https://doi.org/10.1109/TPAMI.2018.2844175
IEEE. (2020). IEEE Standard for a Precision Clock Synchronization Protocol for Networked Measurement and Control Systems (IEEE Std 1588-2019). New York: IEEE. 499 p. https://doi.org/10.1109/IEEESTD.2020.9120376
Lin, J., & Zhang, F. (2022). R3LIVE: A robust, real-time, RGB-colored, LiDAR-inertial-visual tightly-coupled state estimation and mapping package. 2022 International Conference on Robotics and Automation (ICRA), pp. 10672–10678. https://doi.org/10.1109/ICRA46639.2022.9811935
Liu, M., Zhang, H., Zhao, Z., Hong, C., Wang, H., Xiao, Z., & Li, B. (2026). Robust urban SLAM via resilient GNSS – IMU – LiDAR – camera – loop fusion. ISPRS Journal of Photogrammetry and Remote Sensing, 238, 794–815. https://doi.org/10.1016/j.isprsjprs.2026.05.035
Qin, T., Li, P., & Shen, S. (2018). VINS-Mono: A robust and versatile monocular visual-inertial state estimator. IEEE Transactions on Robotics, 34(4), 1004–1020. https://doi.org/10.1109/TRO.2018.2853729
Shan, T., Englot, B., Meyers, D., Wang, W., Ratti, C., & Rus, D. (2020). LIO-SAM: Tightly-coupled lidar inertial odometry via smoothing and mapping. 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pp. 5135–5142. https://doi.org/10.1109/IROS45743.2020.9341176
Sola, J. (2017). Quaternion kinematics for the error-state Kalman filter. arXiv preprint arXiv:1711.02508, 93 p. https://doi.org/10.48550/arXiv.1711.02508
Szeliski, R. (2022). Computer vision: Algorithms and applications (2nd ed.). Cham: Springer. 925 p. https://doi.org/10.1007/978-3-030-34372-9
Viktor, P., & Kiss, G. (2026). Multimodal sensor fusion in autonomous vehicles: Technologies, architectures, and open challenges. Sensors, 26(11), article ID 3528. https://doi.org/10.3390/s26113528
Zhang, X., Xu, J., Yang, C., Huang, G., Zhao, L., Li, R., Yuan, S., Li, Y., & Xie, L. (2026). Fuse only what matters: Degeneracy-aware multi-sensor fusion for LiDAR-Inertial-Visual SLAM. ISPRS Journal of Photogrammetry and Remote Sensing, 238, 508–518. https://doi.org/10.1016/j.isprsjprs.2026.05.031
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
