Порівняльний аналіз ефективності роботи алгоритмів XGBoost та LSTM у задачі прогнозування спроможності scrum-команд на різних горизонтах
Анотація
Обґрунтовано доцільність застосування технологій машинного навчання для підвищення точності планування ітерацій у методології Scrum. Виконано експериментальне дослідження на історичних даних реальної DevOps-команди проєкту за 32 завершені спринти, що містили показники продуктивності, календарні обмеження, відпустки, операційне навантаження та контекстні фактори. Проведено систематичний порівняльний аналіз двох класів моделей машинного навчання – градієнтного підсилення XGBoost та рекурентних нейронних мереж LSTM – для прогнозування командної спроможності на різних часових горизонтах. Застосовано методику покрокової валідації з метриками MAE, RMSE, MAPE та тестом Дібольда-Маріано для статистичного порівняння моделей. Встановлено, що модель XGBoost демонструє статистично значущу перевагу на короткотерміновому горизонті (H = 1 спринт) із середньою абсолютною похибкою MAE = 8,42 проти MAE = 12,35 для LSTM (p = 0,005), забезпечуючи зниження похибки на 31,8 % завдяки ефективному виконанню роботи з табличними ознаками та календарними обмеженнями. Виявлено відсутність статистично значущої різниці між моделями на середньо-терміновому горизонті (H = 3 спринти) з MAE = 14,67 для моделі XGBoost та MAE = 14,92 для LSTM (p = 0,678), що свідчить про перехідну зону між домінуванням експертно сформованих ознак й автоматично виявлених часових залежностей. Встановлено, що методика покрокової валідації забезпечує темпорально коректне оцінювання узагальнювальної здатності моделей та усуває систематичне оптимістичне зміщення, характерне для стандартного k-fold крос-валідування на часових рядах спринтів. З'ясовано, що нейронна мережа LSTM виявляє статистично значущу перевагу на довготерміновому горизонті (H = 6 спринтів) з MAE = 17,26 проти MAE = 21,48 для моделі XGBoost (p = 0,031), зменшуючи похибку на 19,6 % через здатність моделювати довготривалі часові залежності, інерційність команди проєкту та сезонні тренди. Результати обґрунтовують доцільність розроблення адаптивної метамоделі, що динамічно вибиратиме або комбінуватиме алгоритми градієнтного підсилення та рекурентних нейронних мереж залежно від горизонту прогнозування командної спроможності та контексту scrum-проєкту для підвищення загальної точності системи прогнозування.
Завантаження
Посилання
Chen, T., & Guestrin, C. (2016). XGBoost: A scalable tree boosting system. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 785–794. https://doi.org/10.1145/2939672.2939785
Choetkiertikul, M., Dam, H. K., Tran, T., & Ghose, A. (2018). Predicting delivery capability in iterative software development. IEEE Transactions on Software Engineering, 44(6), 551–573. https://doi.org/10.1109/TSE.2017.2693989
Diebold, F. X., & Mariano, R. S. (1995). Comparing predictive accuracy. Journal of Business & Economic Statistics, 13(3), 253–263. https://doi.org/10.1080/07350015.1995.10524599
Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural Computation, 9(8), 1735–1780. https://doi.org/10.1162/neco.1997.9.8.1735
Kumar, A., Sharma, R., & Singh, P. (2023). Transformer-based velocity prediction for agile software development teams. Journal of Systems and Software, 198, article ID 111587. https://doi.org/10.1016/j.jss.2022.111587
Maleki, N., Zakerolhosseini, A., & Derakhshanfar, P. (2022). Ensemble methods for effort estimation in Scrum projects: A comparative study. Information and Software Technology, 146, article ID 106875. https://doi.org/10.1016/j.infsof.2022.106875
Peralta, C., Rodrigues, M., & García-Martínez, R. (2024). Sprint Management in Agile Approach: Progress and Velocity Evaluation Applying Machine Learning. Information, 15(11), article ID 726. https://doi.org/10.3390/info15110726
Rajbahadur, G. K., Wang, S., Oliva, G. A., Kamei, Y., & Hassan, A. E. (2021). The impact of using deep learning models for effort estimation in agile software development. Empirical Software Engineering, 26(4), 82. https://doi.org/10.1007/s10664-021-09992-4
Rosa, W., Clark, B. K., Madachy, R. J., & Boehm, B. W. (2022). Empirical Effort and Schedule Estimation Models for Agile Processes in the US DoD. IEEE Transactions on Software Engineering, 48(8), 3117–3130. https://doi.org/10.1109/TSE.2021.3112743
Shepperd, M., & MacDonell, S. (2012). Evaluating prediction systems in software project estimation. Information and Software Technology, 54(8), 820–827. https://doi.org/10.1016/j.infsof.2011.12.008
Standish Group. (2020). CHAOS Report 2020: Beyond Infinity. The Standish Group International. URL: https://hennyportman. wordpress.com/wp-content/uploads/2021/01/project-success-qrc-standish-group-chaos-report-2020.pdf
Tawosi, V., Moussa, R., & Sarro, F. (2022). Agile Effort Estimation: Have We Solved the Problem Yet? Insights From A Replication Study. https://doi.org/10.48550/arXiv.2201.05401
Torskyi, O. I., & Hrytsiuk, Y. I. (2025). Application of machine learning to enhance the efficiency of automated software testing. Scientific Bulletin of UNFU, 35(4), 142–149. https://doi.org/10.36930/40350416
Zhang, L., Chen, X., Liu, Y., & Wang, J. (2024). Adaptive meta-model for sprint capacity forecasting: A multi-horizon approach. IEEE Transactions on Software Engineering, 50(2), 348–365. https://doi.org/10.1109/TSE.2023.3289456

Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.



