Модель та засоби синтезу тривимірного зображення користувача з використанням лінійної регресії
Анотація
Досліджено проблему автоматизованого синтезу тривимірних зображень користувача на основі набору стандартних двовимірних зображень фотографій. Встановлено, що складністю у цьому процесі є втрата просторової інформації під час фіксації об'єкта на плоскому знімку, що потребує залучення математичних інструментів для відновлення геометрії. Розроблено та наведено ефективний метод генерування просторових структур, що поєднує сучасні алгоритми комп'ютерного зору з передовими підходами математичної інтерполяції даних. Проаналізовано етапи попереднього оброблення зображень та з'ясовано критичну необхідність безпомилкового визначення антропометричних маркерів на обличчі людини. Для надійного розпізнавання обличчя та точного виділення його 68 ключових точок застосовано функціонал бібліотеки OpenCV спільно з алгоритмом машинного навчання DLIB (англ. Dlib C++ Library). Проведено перетворення багатовимірних наборів даних у лінійну форму для удосконалення їх подальшого аналізу. Застосовано алгоритм локальних лінійних відображень LLE (англ. Low-Level Emulation – емуляція низького рівня), що дав змогу істотно знизити розмірність простору ознак, гарантовано зберігши локальну топологічну структуру вхідних даних та мінімізувавши загальні обчислювальні витрати. Запропоновано новий спосіб корекції базової тривимірної моделі обличчя шляхом інтеграції індивідуальних параметрів користувача. Для цього застосовано метод просторової інтерполяції – тривимірний кригінг. З'ясовано, що цей геостатистичний спосіб просторової інтерполяції з високою точністю інтерполює значення просторової відстані для невідомих точок поверхні на основі виявлених маркерів та обчислює масив тривимірних зміщень для кожної вершини сітки. Фінальну побудову неперервної полігональної тривимірної поверхні реалізовано за допомогою алгоритму кульового обертання BPA (англ. Ball Pivoting Algorithm), який забезпечив створення якісної 3D-моделі без топологічних дефектів. Розроблено спеціалізований мобільний застосунок, який реалізує створений алгоритмічний конвеєр та автоматично генерує готові 3D-моделі. Досліджено придатність отриманих результатів для їх прямої інтеграції у сучасні цифрові екосистеми. Встановлено ефективність використання згенерованих об'єктів у середовищах віртуальної реальності, системах комп'ютерної анімації та різноманітних завданнях цифрового моделювання.
Завантаження
Посилання
Bernardini, F., Mittleman, J., Rushmeier, H., Silva, C., & Taubin, G. (1999). The ball-pivoting algorithm for surface reconstruction. IEEE Transactions on Visualization and Computer Graphics, 5(4), 349–359. https://doi.org/10.1109/2945.817351
Diao, H., Jiang, X., Fan, Y., Li, M., & Wu, H. (2024). 3D Face Reconstruction Based on a Single Image: A Review, in IEEE ACCESS, vol. 12, 59450–59473. https://doi.org/10.1109/ACCESS.2024.3381975
Ghojogh, B., Ghodsi, A., Karray, F., & Crowley, M. (2020). Locally linear embedding and its variants: Tutorial and survey. arXiv. https://doi.org/10.48550/arxiv.2011.10925
Jabberi, M., Wali, A., Chaudhuri, B. B., & Alimi, A. M. (2023). 68 landmarks are efficient for 3D face alignment: what about more?: 3D face alignment method applied to face recognition. Multimedia Tools and Applications, 1–35. https://doi.org/10.1007/s11042-023-14770-x
Jiang, D., Dong, Z., Li, X., et al. (2021). Sphere face model: A 3D morphable model with hypersphere manifold latent space. arXiv. https://doi.org/10.48550/arXiv.2112.02238
Kong, S. G., & Mbouna, R. O. (2015). Head pose estimation from a 2D face image using 3D face morphing with depth parameters. IEEE Transactions on Image Processing, 24(6), 1801–1808. https://doi.org/10.1109/TIP.2015.2405483
McLean, G., & Wilson, A. (2019). Shopping in the digital world: Examining customer engagement through augmented reality mobile applications. Computers in Human Behavior, 101, 210–224. https://doi.org/10.1016/j.chb.2019.07.002
Morales, A., Piella, G., & Sukno, F. M. (2021). Survey on 3D face reconstruction from uncalibrated images. Computer Science Review, 40, article ID 100400. https://doi.org/10.1016/j.cosrev.2021.100400
Oliver, M. A., & Webster, R. (1990). Kriging: a method of interpolation for geographical information systems. International Journal of Geographical Information Systems, 4(3), 313–332. https://doi.org/10.1080/02693799008941549
Ostrovka, D. V., & Tesliuk, V. M. (2023). Development of a method for changing surface properties of a three-dimensional user avatar. Technology Audit and Production Reserves, 2(70), 38–43. https://doi.org/10.15587/2706-5448.2023.277933
Ostrovka, D. V., & Tesliuk, V. M. (2023). Method for modifying the geometry of 3D surfaces in USDZ format with further implementation in the SceneKit game engine. Scientific Bulletin of UNFU, 33(2), 52–56. https://doi.org/10.36930/40330209
Ostrovka, D. V., & Tesliuk, V. M. (2023). Synthesis model of a three-dimensional image of a user based on the SceneKit game engine and the USDZ format for iOS. Scientific Bulletin of UNFU, 33(1), 101–106. https://doi.org/10.36930/40330112
Roweis, S. T., & Saul, L. K. (2000). Nonlinear dimensionality reduction by locally linear embedding. Science, 290(5500), 2323–2326. https://doi.org/10.1126/science.290.5500.2323
Song, L., Su, S., Lin, J., Cai, G., & Sun, L. (2021). Deep 3D caricature face generation with identity and structure consistency. Neurocomputing, 454, 178–188. https://doi.org/10.1016/j.neucom.2021.05.014
Wang, C., & Zhang, Y. (2023). Ordinary Kriging interpolation method combined with FEM for arch dam deformation field estimation. Mathematics, 11(5), article ID 1106. https://doi.org/10.3390/math11051106
Ye, Z., Xia, M., Sun, Y., Yi, R., Yu, M., Zhang, J., Lai, Y.-K., & Liu, Y.-J. (2023). 3D-CariGAN: An End-to-End Solution to 3D Caricature Generation From Normal Face Photos. IEEE Transactions on Visualization and Computer Graphics, 29(4), 2203–2210. https://doi.org/10.1109/tvcg.2021.3126659
