Метод модифікації геометрії 3D-поверхонь в USDZ-форматі з подальшим впровадженням в ігровий рушій SceneKit

Ключові слова: цифрове обличчя, ігровий рушій, тривимірне моделювання обличчя, цифровий аватар, напівреалістичний аватар

Анотація

Запропоновано метод модифікації геометрії 3D-поверхонь для ігрового рушія SceneKit на платформі iOS. Представлений метод базується на поєднанні готової 3D-моделі та її програмної адаптації в режимі реального часу, що дає змогу користувачеві коригувати синтезовану модель. Алгоритм методу містить попереднє створення набору морфів рис людського обличчя, що дає змогу наповнити 3D-модель великою кількістю геометричних комбінацій, зберігши при цьому розмір вихідної моделі відносно невеликим для портування на мобільну операційну систему. Розроблений набір морфів може бути модифікований та розширений за потреби без додаткових змін у логіці програмної частини. У дослідженні також представлено алгоритм роботи системи, що дає змогу користувачу протестувати розроблений метод на мобільній платформі. Ця система є ефективною і може бути використана в рішеннях доповненої та віртуальної реальності, оскільки процес рендерингу виконується за допомогою ігрового рушія SceneKit. Розроблена система є масштабованою і, завдяки використанню формату USDZ, має оптимізоване зберігання морфів порівняно з поширеними в індустрії форматами, такими як Collada або FBX. Використовуючи можливості формату USDZ, 3D-модель створюється з меншою вагою, що в кінцевому підсумку приводить до скорочення часу завантаження та покращення загальної продуктивності. Отримані результати демонструють, що метод дає змогу унікально видозмінити цифровий 3D-аватар у спосіб модифікації геометрії поверхонь моделі. Запропонований метод вирішує проблему продуктивності рендерингу на мобільних пристроях, що є важливим для досягнення кращого користувацького досвіду і може привести до покращення ефективності відображення цифрових аватарів.

Завантаження

Дані завантаження ще не доступні.

Афіліація авторів

Д. В. Островка, Національний університет "Львівська політехніка", м. Львів

аспірант, кафедра автоматизованих систем управління

В. М. Теслюк, Національний університет "Львівська політехніка", м. Львів

д-р техн. наук, професор, завідувач кафедри автоматизованих систем управління

Посилання

Cai, H., Guo, Y., Peng, Z., & Zhang, J. (2021). Landmark detection and 3D face reconstruction for caricature using a nonlinear parametric model. Graphical Models, 115. https://doi.org/10.48550/arXiv.2004.09190

Egger, B., Smith, W. A., Tewari, A., Wuhrer, S., Zollhoefer, M., Beeler, T., & Vetter, T. (2020). 3 d morphable face models-past, present, and future. ACM Transactions on Graphics (TOG), 39(5), 1–38. https://doi.org/10.1145/3395208

Feng, Y., Wu, F., Shao, X., Wang, Y., & Zhou, X. (2018). Joint 3D Face Reconstruction and Dense Alignment with Position Map Regression Network. In Proceedings of the European Conference on Computer Vision (ECCV), 534–551. https://doi.org/10.48550/arXiv.1803.07835

Ichim, A. E., Bouaziz, S., & Pauly, M. (2015). Dynamic 3D avatar creation from hand-held video input. ACM Transactions on Graphics (ToG), 34(4), 1–14. https://doi.org/10.1145/2766974.

Lin, J., Yuan, Y., & Zou, Z. (2021). Meingame: Create a game character face from a single portrait. In Proceedings of the AAAI Conference on Artificial Intelligence, 35(1), 311–319. https://doi.org/10.1609/aaai.v35i1.16106

Lombardi, S., Saragih, J., Simon, T., & Sheikh, Y. (2018). Deep appearance models for face rendering. ACM Transactions on Graphics (ToG), 37(4), 1–13. https://doi.org/10.1145/3197517.3201401

Ostrovka, D. V., & Teslyuk, V. M. (2021). The current state and prospects of advanced reality technology in smart mobile devices. House of University of Technology, Katowice, 179–190.

Ostrovka, D. V., & Teslyuk, V. M. (2023). Synthesis model of a three-dimensional image of a user based on the SceneKit game engine and the USDZ format for IOS. Scientific Bulletin of UNFU, 33(1), 89–94. https://doi.org/10.36930/40330112

Ostrovka, D., & Teslyuk, V. (2020). The Analysis of File Format Conversion Tools for Storing 3D Objects for the iOS Platform. MoMLeT&DS, Ukraine, Lviv.

Ostrovka, D., Teslyuk, T., Vesely, P., & Protsko, I. (2019). The Analysis and Comparsion of File Formats for Constructions of iOS Three-dimensional Objects for Augmented Reality Systems. DCSMart, Ukraine, Lviv, 325–334.

Ranjan, A., Bolkart, T., Sanyal, S., & Black, M. J. (2018). Generating 3D faces using convolutional mesh autoencoders. In Proceedings of the European conference on computer vision (ECCV), 704–720. https://doi.org/10.48550/arXiv.1807.10267

Sang, S., Zhi, T., Song, G., Liu, M., Lai, C., Liu, J., & Luo, L. (2022). AgileAvatar: Stylized 3D Avatar Creation via Cascaded Domain Bridging. In SIGGRAPH Asia 2022 Conference Papers, 1–8. https://doi.org/10.48550/arXiv.2211.07818

Shi, T., Yuan, Y., Fan, C., Zou, Z., Shi, Z., & Liu, Y. (2019). Face-to-parameter translation for game character auto-creation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, 161–170. https://doi.org/10.1109/ICCV.2019.00025

Shi, T., Zuo, Z., Yuan, Y., & Fan, C. (2020). Fast and robust face-to-parameter translation for game character auto-creation. In Proceedings of the AAAI Conference on Artificial Intelligence, 34(02), 1733–1740. https://doi.org/10.1609/aaai.v34i02.5537

Wu, Q., Zhang, J., Lai, Y. K., Zheng, J., & Cai, J. (2018). Alive caricature from 2d to 3d. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 7336–7345. https://doi.org/10.1109/CVPR.2018.00766

Ye, Z., Xia, M., Sun, Y., Yi, R., Yu, M., Zhang, J., & Liu, Y. J. (2021). 3D-CariGAN: an end-to-end solution to 3D caricature generation from normal face photos. IEEE Transactions on Visualization and Computer Graphics. https://doi.org/10.48550/arXiv.2003.06841


Переглядів анотації: 86
Завантажень PDF: 104
Опубліковано
2023-04-25
Як цитувати
Островка, Д. В., & Теслюк, В. М. (2023). Метод модифікації геометрії 3D-поверхонь в USDZ-форматі з подальшим впровадженням в ігровий рушій SceneKit. Науковий вісник НЛТУ України, 33(2), 67-72. https://doi.org/10.36930/40330209
Розділ
Інформаційні технології

Статті цього автора (авторів), які найбільше читають

1 2 > >>