Нормалізація тривимірних координат у бібліотеці mediapipe для вимірювання кутів суглобів
Анотація
Визначення та коректне використання тривимірних координат людини та глибини зображення досі залишається важливим завданням оцінювання пози людини, що впливає на точність визначення її рухів і розрахунку кутів суглобів. Запропоновано новий підхід до нормалізації тривимірних координат, визначених за допомогою моделі оцінювання пози людини MediaPipe Pose Landmarker. Цей підхід поєднує набори ключових точок людини Landmarks (координати зображення) та WorldLandmarks (тривимірні координати), доповнюючи їх спеціальними перетвореннями, зокрема уніфікацією масштабу та приведенням координат до спільного початку відліку. Розроблено математичну модель суглоба людини. Для оцінювання ефективності підходу та точності розрахованих на підставі нормалізованих координат значень кутів суглобів розроблено програмне забезпечення, що дає змогу провести тестування запропонованого підходу на відео та зображеннях людини, які містять згинання суглобів у складних позах з різних ракурсів та у різних площинах. Набір тестових даних сформовано за допомогою програм для моделювання тривимірних поз людини Magic Poser та Ultimate Poser. На підставі результатів тестування програмного забезпечення встановлено покращення точності визначення кутів суглобів. Проведено порівняння з наявними способами нормалізації координат та підтверджено ефективність запропонованого підходу. Для аналізу точності використано метрики середньої абсолютної похибки (MAE) та середньої абсолютної відсоткової похибки (MAPE), що дало змогу оцінити відхилення розрахованих кутів від еталонних значень. Серед п'яти методів нормалізації тривимірних координат людини, розглянутих у дослідженні, запропонований підхід продемонстрував найвищу точність для двох наборів тестових даних (MAE = [12,6°; 7,2°] MAPE = [14,0 %; 8,0 %]). Незважаючи на деяке покращення точності визначення кутів суглобів спостерігається висока похибка у складних випадках, де кінцівку видно погано, вона знаходиться у тіні чи ключові точки накладаються. Подальші дослідження можуть полягати у: поєднанні бібліотеки MediaPipe з іншими інструментами визначення глибини зображення; аналізу координат попередніх кадрів (у випадку відео); використанні декількох камер; використанні технології LiDAR та лазерних давачів.
Завантаження
Посилання
Chung, J.-L., Ong, L.-Y., & Leow, M.-C. (2022). Comparative Analysis of Skeleton-Based Human Pose Estimation. Future Internet, 14(12), article ID 380. https://doi.org/10.3390/fi14120380
Clemente, C., Chambel, G., Silva, D. C. F., Montes, A. M., Pinto, J. F., & Silva, H. P. D. (2023). Feasibility of 3D Body Tracking from Monocular 2D Video Feeds in Musculoskeletal Telerehabilitation. Sensors, 24(1), article ID 206. https://doi.org/10.3390/s24010206
Dill, S., Ahmadi, A., Grimmer, M., Haufe, D., Rohr, M., Zhao, Y., Sharbafi, M., & Hoog Antink, C. (2024). Accuracy Evaluation of 3D Pose Reconstruction Algorithms Through Stereo Camera Information Fusion for Physical Exercises with MediaPipe Pose. Sensors, 24(23), article ID 7772. https://doi.org/10.3390/s24237772
Dill, S., Rösch, A., Rohr, M., Güney, G., De Witte, L., Schwartz, E., & Hoog Antink, C. (2023). Accuracy Evaluation of 3D Pose Estimation with MediaPipe Pose for Physical Exercises. Current Directions in Biomedical Engineering, 9(1), 563–566. https://doi.org/10.1515/cdbme-2023-1141
Gui, Z., & Luo, J. (2022). Advanced Baseline for 3D Human Pose Estimation: A Two-Stage Approach (Version 1). arXiv. https://doi.org/10.48550/ARXIV.2212.11344
Guo, Z., Li, J., & Tan, J. (2024). A Normalization Strategy for Weakly Supervised 3D Hand Pose Estimation. Applied Sciences, 14(9), article ID 3578. https://doi.org/10.3390/app14093578
Hulleck, A. A., AlShehhi, A., El Rich, M., Khan, R., Katmah, R., Mohseni, M., Arjmand, N., & Khalaf, K. (2024). BlazePose-Seq2Seq: Leveraging Regular RGB Cameras for Robust Gait Assessment. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 32, 1715–1724. https://doi.org/10.1109/TNSRE.2024.3391908
Jia, S., Pei, X., Yao, W., & Wong, S. C. (2021). Self-supervised Depth Estimation Leveraging Global Perception and Geometric Smoothness Using On-board Videos (Version 1). arXiv. https://doi.org/10.48550/ARXIV.2106.03505
Kim, J.-W., Choi, J.-Y., Ha, E.-J., & Choi, J.-H. (2023). Human Pose Estimation Using MediaPipe Pose and Optimization Method Based on a Humanoid Model. Applied Sciences, 13(4), article ID 2700. https://doi.org/10.3390/app13042700
Lin, Y., Jiao, X., & Zhao, L. (2023). Detection of 3D Human Posture Based on Improved Mediapipe. Journal of Computer and Communications, 11(02), 102–121. https://doi.org/10.4236/jcc.2023.112008
Liqiang, Z., Qingrou, W., Xinrui, Z., & Qiming, N. (2023). A geometric method for generating Euler angles from 3D landmark key-points. https://doi.org/10.22541/au.169288926.64567564/v1
Masoumian, A., Rashwan, H. A., Abdulwahab, S., Cristiano, J., Asif, M. S., & Puig, D. (2023). GCNDepth: Self-supervised monocular depth estimation based on graph convolutional network. Neurocomputing, 517, 81–92. https://doi.org/10.1016/j.neucom.2022.10.073
MediaPipe Solutions guide. Google for Developers. (n.d.). (2023). URL: https://developers.google.com/mediapipe/solutions/guide
On-device, Real-time Body Pose Tracking with MediaPipe BlazePose (n.d.). (2025). URL: https://developers.google.com/mediapipe/ solutions/guide
Rosique, F., Losilla, F., & Navarro, P. J. (2021). Deep Learning Computer Vision Algorithms for Real-time UAVs On-board Camera Image Processing. Applied Sciences, 11(19), article ID 9132. https://doi.org/10.3390/app11199132
Serdyuk, P. V., & Boichuk, I. V. B. (2024). Determining the correct bicycle fit using computer vision. Scientific Bulletin of UNFU, 34(3), 87–95. https://doi.org/10.36930/40340311
Srinivasan, H. K., Mathunny, J. J., Devaraj, A., Gogoi, H., Govindasamy, K., & Karthik, V. (2025). Can BlazePose accurately assess joint angles in outdoor running environments? Biomedical Human Kinetics, 17(1), 13–25. https://doi.org/10.2478/bhk-2025-0002
Van Crombrugge, I., Sels, S., Ribbens, B., Steenackers, G., Penne, R., & Vanlanduit, S. (2022). Accuracy Assessment of Joint Angles Estimated from 2D and 3D Camera Measurements. Sensors, 22(5), article ID 1729. https://doi.org/10.3390/s22051729
Yasin, H., & Krüger, B. (2021). An Efficient 3D Human Pose Retrieval and Reconstruction from 2D Image-Based Landmarks. Sensors, 21(7), article ID 2415. https://doi.org/10.3390/s21072415
Zhan, Y., Li, F., Weng, R., & Choi, W. (2022). Ray3D: Ray-based 3D human pose estimation for monocular absolute 3D localization (Version 3). arXiv. https://doi.org/10.48550/ARXIV.2203.11471
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
