Модель синтезу тривимірного зображення користувача на підставі ігрового рушія SceneKit та USDZ формату під ОС IOS

Ключові слова: цифрове обличчя, тривимірне обличчя, ігровий рушій, тривимірне моделювання обличчя, цифровий аватар

Анотація

Подано модель синтезу 3D-аватару обличчя користувача, що використовує набір 3D-морфів та їх комбінацію. Проаналізовано ключові характеристики обличчя людини, такі як форма носа, рота та очей, і створення морфів, що відповідають цим особливостям. Отримана 3D-модель може бути доопрацьована коригуванням морфів, поки не буде досягнуто бажаного рівня точності. Розроблено тривимірну модель з урахуванням специфіки відображення 3D об'єктів на мобільній платформі так, щоб займати якомога менше пам'яті на диску та забезпечити оптимізацію при відображенні. Перевагою такого підходу є можливість створення додаткових 3D-морфів для взаємодії моделі з користувачем та відображення емоцій. Під час виконання цієї роботи проаналізовано сучасні наукові дослідження у галузі. На підставі отриманих результатів зроблено висновок щодо оптимальних підходів для синтезу тривимірного аватару користувача на платформі iOS. Базову тривимірну модель розроблено за допомогою відкритого програмного забезпечення Blender, а морфи створені для відображення емоцій користувача за допомогою техніки під назвою blend shapes. Для забезпечення сумісності та максимальної ефективності при рендерингу на мобільній ОС iOS використовується модель, подана у форматі USDZ. Також під час виконання поставленого завдання розроблено алгоритм синтезу тривимірного аватара користувача на платформі iOS з використанням саме ігрового рушія SceneKit та таких засобів, як: апаратно-пришвидшений API для 3D-графіки Metal та фреймворк для роботи з доповненою реальністю – ARKit. Використання саме цих вбудованих методів і засобів дало змогу не залежати від стороннього ПЗ, а також досягнути більшої оптимізації при відображенні та взаємодії із синтезованою моделлю порівняно з наявними аналогами. Результатом розробленої моделі та алгоритму є мобільний додаток для платформи iOS, який дає змогу користувачеві створювати власний цифровий 3D-аватар та взаємодіяти з ним, проєктуючи свої емоції обличчя на відображену модель.

Завантаження

Дані завантаження ще не доступні.

Афіліація авторів

Д. В. Островка, Національний університет "Львівська політехніка", м. Львів

аспірант, кафедра автоматизованих систем управління

В. М. Теслюк, Національний університет "Львівська політехніка", м. Львів

д-р техн. наук, професор, завідувач кафедри автоматизованих систем управління

Посилання

Anbarjafari, G., Haamer, R. E., Lusi, I., Tikk, T., & Valgma, L. (2017). 3D face reconstruction with region based best fit blending using mobile phone for virtual reality based social media. arXiv preprint arXiv. https://doi.org/10.48550/arXiv.1801.01089

Lattas, A., Moschoglou, S., Gecer, B., Ploumpis, S., Triantafyllou, V., Ghosh, A., & Zafeiriou, S. (2020). AvatarMe: Realistically Renderable 3D Facial Reconstruction" in-the-wild". In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 760–769. https://doi.org/10.1109/CVPR42600.2020.00084

Lee, G. H., & Lee, S. W. (2020). Uncertainty-aware mesh decoder for high fidelity 3D face reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 6100–6109. https://doi.org/10.1109/CVPR42600.2020.00614

Luo, H., Nagano, K., Kung, H. W., Xu, Q., Wang, Z., Wei, L., & Li, H. (2021). Normalized avatar synthesis using stylegan and perceptual refinement. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 11662–11672. https://doi.org/10.48550/arXiv.2106.11423

Ostrovka, D., & Teslyuk, V. (2020). The Analysis of File Format Conversion Tools for Storing 3D Objects for the iOS Platform. MoMLeT&DS, Ukraine, Lviv.

Ostrovka, D., Teslyuk, T., Vesely, P., & Protsko, I. (2019). The Analysis and Comparsion of File Formats for Constructions of iOS Three-dimensional Objects for Augmented Reality Systems. DCSMart, 325–334.

Wu, T., Zhou, F., & Liao, Q. (2016, March). A fast 3D face reconstruction method from a single image using adjustable model. In 2016 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 1656–1660. https://doi.org/10.1109/ICASSP.2016.7471958

Zhang, Q., & Shi, L. (2012). 3D face model reconstruction based on stretching algorithm. In 2012 IEEE 2nd International Conference on Cloud Computing and Intelligence Systems, 1, 197–200. https://doi.org/10.24425/bpas.2019.127341


Переглядів анотації: 111
Завантажень PDF: 147
Опубліковано
2023-02-27
Як цитувати
Островка, Д. В., & Теслюк, В. М. (2023). Модель синтезу тривимірного зображення користувача на підставі ігрового рушія SceneKit та USDZ формату під ОС IOS. Науковий вісник НЛТУ України, 33(1), 89-94. https://doi.org/10.36930/40330112
Розділ
Інформаційні технології

Статті цього автора (авторів), які найбільше читають

1 2 > >>