Метод модифікації геометрії 3D-поверхонь в USDZ-форматі з подальшим впровадженням в ігровий рушій SceneKit
Анотація
Запропоновано метод модифікації геометрії 3D-поверхонь для ігрового рушія SceneKit на платформі iOS. Представлений метод базується на поєднанні готової 3D-моделі та її програмної адаптації в режимі реального часу, що дає змогу користувачеві коригувати синтезовану модель. Алгоритм методу містить попереднє створення набору морфів рис людського обличчя, що дає змогу наповнити 3D-модель великою кількістю геометричних комбінацій, зберігши при цьому розмір вихідної моделі відносно невеликим для портування на мобільну операційну систему. Розроблений набір морфів може бути модифікований та розширений за потреби без додаткових змін у логіці програмної частини. У дослідженні також представлено алгоритм роботи системи, що дає змогу користувачу протестувати розроблений метод на мобільній платформі. Ця система є ефективною і може бути використана в рішеннях доповненої та віртуальної реальності, оскільки процес рендерингу виконується за допомогою ігрового рушія SceneKit. Розроблена система є масштабованою і, завдяки використанню формату USDZ, має оптимізоване зберігання морфів порівняно з поширеними в індустрії форматами, такими як Collada або FBX. Використовуючи можливості формату USDZ, 3D-модель створюється з меншою вагою, що в кінцевому підсумку приводить до скорочення часу завантаження та покращення загальної продуктивності. Отримані результати демонструють, що метод дає змогу унікально видозмінити цифровий 3D-аватар у спосіб модифікації геометрії поверхонь моделі. Запропонований метод вирішує проблему продуктивності рендерингу на мобільних пристроях, що є важливим для досягнення кращого користувацького досвіду і може привести до покращення ефективності відображення цифрових аватарів.
Посилання
Cai, H., Guo, Y., Peng, Z., & Zhang, J. (2021). Landmark detection and 3D face reconstruction for caricature using a nonlinear parametric model. Graphical Models, 115. https://doi.org/10.48550/arXiv.2004.09190
Egger, B., Smith, W. A., Tewari, A., Wuhrer, S., Zollhoefer, M., Beeler, T., & Vetter, T. (2020). 3 d morphable face models-past, present, and future. ACM Transactions on Graphics (TOG), 39(5), 1–38. https://doi.org/10.1145/3395208
Feng, Y., Wu, F., Shao, X., Wang, Y., & Zhou, X. (2018). Joint 3D Face Reconstruction and Dense Alignment with Position Map Regression Network. In Proceedings of the European Conference on Computer Vision (ECCV), 534–551. https://doi.org/10.48550/arXiv.1803.07835
Ichim, A. E., Bouaziz, S., & Pauly, M. (2015). Dynamic 3D avatar creation from hand-held video input. ACM Transactions on Graphics (ToG), 34(4), 1–14. https://doi.org/10.1145/2766974.
Lin, J., Yuan, Y., & Zou, Z. (2021). Meingame: Create a game character face from a single portrait. In Proceedings of the AAAI Conference on Artificial Intelligence, 35(1), 311–319. https://doi.org/10.1609/aaai.v35i1.16106
Lombardi, S., Saragih, J., Simon, T., & Sheikh, Y. (2018). Deep appearance models for face rendering. ACM Transactions on Graphics (ToG), 37(4), 1–13. https://doi.org/10.1145/3197517.3201401
Ostrovka, D. V., & Teslyuk, V. M. (2021). The current state and prospects of advanced reality technology in smart mobile devices. House of University of Technology, Katowice, 179–190.
Ostrovka, D. V., & Teslyuk, V. M. (2023). Synthesis model of a three-dimensional image of a user based on the SceneKit game engine and the USDZ format for IOS. Scientific Bulletin of UNFU, 33(1), 89–94. https://doi.org/10.36930/40330112
Ostrovka, D., & Teslyuk, V. (2020). The Analysis of File Format Conversion Tools for Storing 3D Objects for the iOS Platform. MoMLeT&DS, Ukraine, Lviv.
Ostrovka, D., Teslyuk, T., Vesely, P., & Protsko, I. (2019). The Analysis and Comparsion of File Formats for Constructions of iOS Three-dimensional Objects for Augmented Reality Systems. DCSMart, Ukraine, Lviv, 325–334.
Ranjan, A., Bolkart, T., Sanyal, S., & Black, M. J. (2018). Generating 3D faces using convolutional mesh autoencoders. In Proceedings of the European conference on computer vision (ECCV), 704–720. https://doi.org/10.48550/arXiv.1807.10267
Sang, S., Zhi, T., Song, G., Liu, M., Lai, C., Liu, J., & Luo, L. (2022). AgileAvatar: Stylized 3D Avatar Creation via Cascaded Domain Bridging. In SIGGRAPH Asia 2022 Conference Papers, 1–8. https://doi.org/10.48550/arXiv.2211.07818
Shi, T., Yuan, Y., Fan, C., Zou, Z., Shi, Z., & Liu, Y. (2019). Face-to-parameter translation for game character auto-creation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, 161–170. https://doi.org/10.1109/ICCV.2019.00025
Shi, T., Zuo, Z., Yuan, Y., & Fan, C. (2020). Fast and robust face-to-parameter translation for game character auto-creation. In Proceedings of the AAAI Conference on Artificial Intelligence, 34(02), 1733–1740. https://doi.org/10.1609/aaai.v34i02.5537
Wu, Q., Zhang, J., Lai, Y. K., Zheng, J., & Cai, J. (2018). Alive caricature from 2d to 3d. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 7336–7345. https://doi.org/10.1109/CVPR.2018.00766
Ye, Z., Xia, M., Sun, Y., Yi, R., Yu, M., Zhang, J., & Liu, Y. J. (2021). 3D-CariGAN: an end-to-end solution to 3D caricature generation from normal face photos. IEEE Transactions on Visualization and Computer Graphics. https://doi.org/10.48550/arXiv.2003.06841
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
