Застосування комбінації сімейства YOLOV12 та сегментаційних моделей для автоматизованого визначення водних видів біоресурсів

Анотація

Досліджено особливості застосування сучасних методів глибокого навчання для автоматизованого виявлення, розпізнавання та сегментації водних видів біоресурсів. Проаналізовано сучасні архітектури нейронних мереж для завдань комп'ютерного зору та оброблення зображень. Застосовано комбінацію моделей комп'ютерного зору YOLOv12 (англ. You Only Look Once 12) для високошвидкісної детекції об'єктів та Mask R-CNN (англ. Mask Region-based Convolutional Neural Network) для точної сегментації водних видів біоресурсів, інтегруючи обидві архітектури в єдиний конвеєр для підвищення їх точності та стійкості. Розроблено конвеєр дій щодо оброблення зображень, що містить етапи попереднього оброблення зображень, детекції об'єктів, сегментації водної біомаси та подальшого аналізу об'єктів. Проведено попереднє оброблення даних, що містило нормалізацію кольору, зменшення шуму та геометричні аугментації, такі як обертання, масштабування та випадкове обрізання, щоб покращити моделі для виявлення риби. Проведено навчання та тестування моделей на великих анотованих наборах зображень. Наведено результати оцінювання продуктивності моделей за допомогою метрик precision, recall, F1-score, mean average precision (mAP) та intersection-over-union (IoU). Встановлено, що інтегрований метод оброблення зображень з використанням комбінованої моделі перевищує продуктивність окремих моделей детекції об'єктів або сегментації водної біомаси. З'ясовано, що використання аугментацій та попереднього оброблення зображень істотно підвищує узагальнювальну здатність моделей та зменшує кількість помилкових спрацьовувань. Введено метод визначення морфометричних показників на основі сегментованих об'єктів. Встановлено, що отримані морфометричні показники дають можливість надійно оцінювати довжину, ширину та площу риб. Проведено результати оцінювання впливу розміру навчальної бази водної біомаси, якості даних та стратегій аугментації на точність роботи моделей, показано, що ретельно спроєктовані конвеєри даних істотно покращують стабільність детекції об'єктів та точність сегментації водної біомаси. Розроблено програмний модуль автоматизованого аналізу зображень, який забезпечує визначення розмірних характеристик об'єктів та можливість подальшого використання результатів для оцінювання водної біомаси. Наведено результати експериментальної перевірки комбінованої моделі аналізу зображення, які підтверджують ефективність запропонованого підходу та можливість його використання в автоматизованих системах моніторингу та обліку рибних ресурсів.