Аналіз, розроблення та практичне застосування інтерфейсів взаємодії у віртуальній реальності
Анотація
Досліджено проблематику взаємодії, розроблення та практичного застосування інтерфейсів взаємодії у віртуальній реальності (ВР) з використанням сторонніх рішень, а саме – програмного забезпечення Garry's Mod на базі рушія Source та набору засобів розроблення OpenVR. Детально описано особливості та практичні особливості програмних інтерфейсів для взаємодії користувача з віртуальним середовищем, що дають змогу забезпечити високий рівень імерсивності та природності взаємодії. Проаналізовано технічні виклики, які виникають під час цих процесів. Виявлено принципи роботи OpenVR та методи її взаємодії з підсистемами рушія. Враховано аналіз обмежень використаних програмних розробок та інтерфейсів для взаємодії з рішенням на базі рушія Source та підходи до їх подолання із сучасними системами. Проаналізовано та удосконалено ергономіку інтерфейсів взаємодії з віртуальними об'єктами шляхом упровадження інтуїтивних механізмів маніпуляції та природних методів навігації у віртуальному просторі. Щодо ергономіки взаємодії, досліджено принципи проєктування зручних та інтуїтивно зрозумілих механізмів маніпуляції об'єктами. Проаналізовано принципи інтеграції різних модифікацій з ВР-системою. Розглянуто методи адаптації наявних невіртуальних модифікацій для коректного функціонування у віртуальній реальності. Проаналізовано різні моделі навігації, враховуючи методи телепортації, плавного руху та гібридної системи переміщення. У контексті програмної реалізації, розглянуто процес інтеграції набору середовища розроблення OpenVR із програним рішенням Garry's Mod, на базі рушія Source. Описано структуру програмних модулів, їх оброблення та відображення відповідних змін у віртуальному середовищі. Проаналізовано технічні та методологічні обмеження запропонованого підходу, а також проблеми, що створюють певні обмеження для реалізації сучасних методів віртуальної реальності. Виявлено перспективні напрями подальших етапів дослідження. Проведено аналіз отриманих результатів та опитування з залученням групи добровольців для оцінювання ефективності розроблених методів взаємодії.
Завантаження
Посилання
Bogaerts, B., Sels, S., Vanlanduit, S., & Penne, R. (2020). Connecting the CoppeliaSim robotics simulator to virtual reality. SoftwareX, 11, article ID 100426. https://doi.org/10.1016/j.softx.2020.100426
Borba, E., & Zuffo, M. K. (2016). Natural to the human interactions with digital interfaces: a new perspective to understand the virtual experiences. In Proceedings of the IAMCR Conference (pp. 312–317). URL: https://www.researchgate.net/publication/307513030_Natural_to_the_human_interactions_with_digital_interfaces_a_new_perspective_to_understand_the_virtual_experiences
Brooks, F. P. (1999). Whats real about virtual reality?. IEEE Computer graphics and applications, 19(6), 16–27. https://doi.org/10.1109/38.799723
Chen, M. X., Hu, H., Yao, R., Qiu, L., & Li, D. (2024). A Survey on the Design of Virtual Reality Interaction Interfaces. Sensors, 24(19), article ID 6204. https://doi.org/10.3390/s24196204
Egger, J., Gall, M., Wallner, J., Boechat, P., Hann, A., Li, X., & Schmalstieg, D. (2017). HTC Vive MeVisLab integration via OpenVR for medical applicationss. PloS one, 12(3), article ID e0173972. https://doi.org/10.1371/journal.pone.0173972
Jacobson, J., & Lewis, M. (2005). Game engine virtual reality with CaveUT. Computer, 38(4), 79–82. https://doi.org/10.1109/MC.2005.126
Kulyk, Y. (2025). CODE: OpenVR initialization, Mechanisms and algorytms, interaction with the physical system of Garrys Mod. Google Docs. URL: https://docs.google.com/document/d/1h8JRiv2x49vAcoVpZHyL7V324PU6qeLamBjhr_2TzGg/edit?usp=sharing
Ludwig, J., Selan, J., Leiby, A, Finch, C., Bradner, K., & Nuber, N. (2023). API documentation. GitHub. URL: https://github.com/ValveSoftware/openvr/wiki/API-Documentation
Ludwig, J., Selan, J., Leiby, A, Finch, C., Bradner, K., & Nuber, N. (2024). OpenVR SDK 2.5.1. GitHub. URL: https://github.com/ValveSoftware/openvr/blob/master/bin/win32/openvr_api.dll
Martinez, E. S., Malik, A. A., & McMahan, R. P. (2024). Clovr: Collecting and logging openvr data from steamvr applications. In IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW) (pp. 485–492). IEEE. https://doi.org/10.1016/j.softx.2020.100426
Mertz, L. (2019). Virtual reality pioneer Tom Furness on the past, present, and future of VR in health care. IEEE pulse, 10(3), 9–11. https://doi.org/10.1109/MPULS.2019.2911808
Nagamatsu, G., Kurita, T., Ichimaru, K., & Kobayashi, D. (2019). OpenVR. Journal of the Virtual Reality Society of Japan, 24(1), 46–47. https://doi.org/10.18974/jvrsj.24.1_46
Nelson, P. (2023). Garrys Mod: The Computer Game Becomes Photoshop. In Computer Games As Landscape Art, (pp. 139-171). Cham: Springer International Publishing. https://doi.org/10.1007/978-3-031-37634-4_7
Novacek, T., & Jirina, M. (2020). Overview of controllers of user interface for virtual reality. PRESENCE: Virtual and Augmented Reality, 29, 37–90. https://doi.org/10.1162/pres_a_00356
Valve Software. (2024). Controllers. Valve Software. URL: https://www.valvesoftware.com/en/index/controllers
Valve Software. (2024). Engine Structure. Valve Developer Community. URL: https://developer.valvesoftware.com/wiki/Engine_Structure
Valve Software. (2024). Havok. Valve Developer Community. URL: https://developer.valvesoftware.com/wiki/Havok
Wang, W., Suga, Y., Iwata, H., & Sugano, S. (2011). OpenVR: A software tool contributes to research of robotics. In IEEE/SICE International Symposium on System Integration (SII) (pp. 1043–1048). IEEE. https://doi.org/10.1109/SII.2011.6147593
Zhang, Z., Zhang, M., Tumkor, S., Chang, Y., Esche, S. K., & Chassapis, C. (2013). Integration of Physical Devices into Game-based Virtual Reality. International Journal of Online Engineering, 9(5), 25–38. https://doi.org/10.3991/ijoe.v9i5.2705
