Модель синтезу тривимірного зображення користувача на підставі ігрового рушія SceneKit та USDZ формату під ОС IOS
Анотація
Подано модель синтезу 3D-аватару обличчя користувача, що використовує набір 3D-морфів та їх комбінацію. Проаналізовано ключові характеристики обличчя людини, такі як форма носа, рота та очей, і створення морфів, що відповідають цим особливостям. Отримана 3D-модель може бути доопрацьована коригуванням морфів, поки не буде досягнуто бажаного рівня точності. Розроблено тривимірну модель з урахуванням специфіки відображення 3D об'єктів на мобільній платформі так, щоб займати якомога менше пам'яті на диску та забезпечити оптимізацію при відображенні. Перевагою такого підходу є можливість створення додаткових 3D-морфів для взаємодії моделі з користувачем та відображення емоцій. Під час виконання цієї роботи проаналізовано сучасні наукові дослідження у галузі. На підставі отриманих результатів зроблено висновок щодо оптимальних підходів для синтезу тривимірного аватару користувача на платформі iOS. Базову тривимірну модель розроблено за допомогою відкритого програмного забезпечення Blender, а морфи створені для відображення емоцій користувача за допомогою техніки під назвою blend shapes. Для забезпечення сумісності та максимальної ефективності при рендерингу на мобільній ОС iOS використовується модель, подана у форматі USDZ. Також під час виконання поставленого завдання розроблено алгоритм синтезу тривимірного аватара користувача на платформі iOS з використанням саме ігрового рушія SceneKit та таких засобів, як: апаратно-пришвидшений API для 3D-графіки Metal та фреймворк для роботи з доповненою реальністю – ARKit. Використання саме цих вбудованих методів і засобів дало змогу не залежати від стороннього ПЗ, а також досягнути більшої оптимізації при відображенні та взаємодії із синтезованою моделлю порівняно з наявними аналогами. Результатом розробленої моделі та алгоритму є мобільний додаток для платформи iOS, який дає змогу користувачеві створювати власний цифровий 3D-аватар та взаємодіяти з ним, проєктуючи свої емоції обличчя на відображену модель.
Завантаження
Посилання
Anbarjafari, G., Haamer, R. E., Lusi, I., Tikk, T., & Valgma, L. (2017). 3D face reconstruction with region based best fit blending using mobile phone for virtual reality based social media. arXiv preprint arXiv. https://doi.org/10.48550/arXiv.1801.01089
Lattas, A., Moschoglou, S., Gecer, B., Ploumpis, S., Triantafyllou, V., Ghosh, A., & Zafeiriou, S. (2020). AvatarMe: Realistically Renderable 3D Facial Reconstruction" in-the-wild". In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 760–769. https://doi.org/10.1109/CVPR42600.2020.00084
Lee, G. H., & Lee, S. W. (2020). Uncertainty-aware mesh decoder for high fidelity 3D face reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 6100–6109. https://doi.org/10.1109/CVPR42600.2020.00614
Luo, H., Nagano, K., Kung, H. W., Xu, Q., Wang, Z., Wei, L., & Li, H. (2021). Normalized avatar synthesis using stylegan and perceptual refinement. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 11662–11672. https://doi.org/10.48550/arXiv.2106.11423
Ostrovka, D., & Teslyuk, V. (2020). The Analysis of File Format Conversion Tools for Storing 3D Objects for the iOS Platform. MoMLeT&DS, Ukraine, Lviv.
Ostrovka, D., Teslyuk, T., Vesely, P., & Protsko, I. (2019). The Analysis and Comparsion of File Formats for Constructions of iOS Three-dimensional Objects for Augmented Reality Systems. DCSMart, 325–334.
Wu, T., Zhou, F., & Liao, Q. (2016, March). A fast 3D face reconstruction method from a single image using adjustable model. In 2016 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 1656–1660. https://doi.org/10.1109/ICASSP.2016.7471958
Zhang, Q., & Shi, L. (2012). 3D face model reconstruction based on stretching algorithm. In 2012 IEEE 2nd International Conference on Cloud Computing and Intelligence Systems, 1, 197–200. https://doi.org/10.24425/bpas.2019.127341
Переглядів анотації: 111 Завантажень PDF: 147