Синтез моделі навколишнього середовища з використанням вбудованих у мобільні пристрої сенсорів на платформі iOS

Ключові слова: mobile SLAM, mobile AR, markerless AR, SLAM, visual SLAM, mobile 3D model, obj, Lidar

Анотація

Щорічний випуск мобільних пристроїв дедалі частіше містить оновлення щодо методів і засобів для роботи з доповненою чи віртуальною реальністю, що водночас підштовхує розробників створювати щораз більше корисних продуктів з їх використанням. Саме тому метою цієї роботи є моделювання наперед невідомого навколишнього середовища на мобільній платформі з використанням вбудованих у платформу методів і засобів, а також давачів Lidar. Для досягнення мети роботи визначено основні завдання дослідження. Проаналізовано літературні джерела із розроблення та впровадження SLAM алгоритмів на мобільних пристроях. Опрацьовано наявні рішення синтезу тривимірних середовищ на базі різних SLAM алгоритмів на мобільних операційних системах. Розроблено алгоритм функціонування системи синтезу невідомого навколишнього середовища з використанням вбудованих у мобільні пристрої Lidar сенсорів та монокамер на мобільній платформі iOS. Описано програмні особливості розроблюваної системи синтезу з використанням високорівневої мови програмування Swift та вбудованих у систему фрейморків для роботи з тривимірною графікою. Проаналізовано отримані результати синтезу та проведено порівняння сканування ідентичного середовища з наявними рішеннями. Сформовано наукову новизну та практичну цінність отриманих результатів дослідження. Зроблено висновок про напрями покращення розробленої системи. Результатом цих досліджень є мобільний застосунок під платформу iOS, що дає змогу користувачу сканувати наперед невідоме середовище (як закрите, так і відкрите) та синтезувати отримані дані у тривимірну модель формату .obj, яку можна відображати в розробленому додатку або експортувати на будь-який інший пристрій для подальших взаємодій. Розроблену систему можна використовувати в інтересах виробництва та підготовки нових наукових праць, а також вона є придатною до адаптації згідно з вимогами користувача.

Біографії авторів

Д. В. Островка, Національний університет "Львівська політехніка", м. Львів

аспірант, кафедра автоматизованих систем управління

В. М. Теслюк, Національний університет "Львівська політехніка", м. Львів

д-р техн. наук, професор, завідувач кафедри автоматизованих систем управління

Посилання

Blanco-Claraco, J. L., Moreno-Dueñas, F. N., & González-Jiménez, J. (2013). The Málaga urban dataset: High-rate stereo and LiDAR in a realistic urban scenario. The International Journal of Robotics Research, 33(2), 207–214. https://doi.org/10.1177/0278364913507326

Chidsin, W., Gu, Y., & Goncharenko, I. (2021). AR-Based Navigation Using RGB-D Camera and Hybrid Map. Sustainability, 13(10). https://doi.org/10.3390/su13105585

DESCHAUD, Jean-Emmanuel. IMLS-SLAM: Scan-to-model matching based on 3D data. (2018). In: 2018 IEEE International Conference on Robotics and Automation (ICRA), 2480–2485. https://doi.org/10.1109/ICRA.2018.8460653

GEIGER, Andreas; LENZ, Philip; URTASUN, Raquel. (2012). Are we ready for autonomous driving? the kitti vision benchmark suite. In: 2012 IEEE conference on computer vision and pattern recognition. 3354–3361. https://doi.org/10.1109/CVPR.2012.6248074

Labbé, M., & Michaud, F. (2019). RTAB – Map as an open – source lidar and visual simultaneous localization and mapping library for large – scale and long – term online operation. Journal of Field Robotics, 36(2), 416–446. https://doi.org/10.1002/rob.21831

Li, Peiliang, et al. (2017). Monocular visual-inertial state estimation for mobile augmented reality. 2017 IEEE international symposium on mixed and augmented reality (ISMAR). https://doi.org/10.1109/ISMAR.2017.18

More to explore with ARKit 6. Retrieved from: https://developer.apple.com/augmented-reality/arkit/

Ostrovka, D. V., & Teslyuk, V. M. (2021). The current state and prospects of advanced reality technology in smart mobile devices. Selected aspects of digital society development: monograph 45. Katowice: Publishing House of University of Technology, 179–190.

Ostrovka, D., & Teslyuk, V. (2020). The Analysis of File Format Conversion Tools for Storing 3D Objects for the iOS Platform. MoMLeT&DS, Ukraine, Lviv.

Ostrovka, D., Teslyuk, T., Vesely, P., & Protsko, I. (2019). The Analysis and Comparsion of File Formats for Constructions of iOS Three-dimensional Objects for Augmented Reality Systems. DCSMart, Ukraine, Lviv, 325–334.

Overview of ARCore and supported development environments. Retrieved from: https://developers.google.com/ar/develop

PANDEY, Gaurav, MCBRIDE, James, R., EUSTICE, Ryan, M. (2011). Ford campus vision and lidar data set. The International Journal of Robotics Research, 30(13), 1543–1552. https://doi.org/10.1177/0278364911400640

Servières, M., Renaudin, V., Dupuis, A., & Antigny, N. (2021). Visual and Visual-Inertial SLAM: State of the Art, Classification, and Experimental Benchmarking. J. Sens., 1–26. https://doi.org/10.1155/2021/2054828

SINGANDHUPE, Ashutosh; LA, Hung Manh. (2019). A review of slam techniques and security in autonomous driving. In: 2019 third IEEE international conference on robotic computing (IRC). 602–607. https://doi.org/10.1109/IRC.2019.00122

Song, J., & Kook, J. (2022). Mapping Server Collaboration Architecture Design with OpenVSLAM for Mobile Devices. Applied Sciences, 12(7), 3653. https://doi.org/10.3390/app12073653

Tsmots, I. G., Teslyuk, V. M., Opotiak, Y. V., Parcei, R. V., & Zinko, R. V. (2021). The basic architecture of mobile robotic platform with intelligent motion control system and data transmission protection. Ukrainian Journal of Information Technology, 3(2), 74–80. https://doi.org/10.23939/ujit2021.02.074

Опубліковано
2022-11-02
Як цитувати
Островка, Д. В., & Теслюк, В. М. (2022). Синтез моделі навколишнього середовища з використанням вбудованих у мобільні пристрої сенсорів на платформі iOS. Науковий вісник НЛТУ України, 32(5), 87-91. https://doi.org/10.36930/40320512
Розділ
Інформаційні технології

Статті цього автора (авторів), які найбільше читають