Спеціалізоване структурне спрощення базових моделей для систем технічного зору роботів у приміщеннях

Анотація

Розглянуто проблему впровадження масштабних базових моделей комп'ютерного зору в робото-технічні системи реального часу, що наразі істотно обмежено значними обчислювальними витратами та затримками під час інференсу. Проаналізовано обмеження методів спрощення структури сегментаційних моделей загального призначення, які часто не забезпечують збереження семантичної точності та деталізації масок під час перенесення моделей у спеціалізовані середовища, такі як внутрішня навігація автономних роботів. Представлено фреймворк доменно-специфічної структурної оптимізації внутрішньої структури сегментаційної моделі, який розроблений для трансформації важковагової архітектури моделі сегментації зображень у високоточний інструмент, адаптований для виконання спеціалізованих завдань візуального сприйняття. Досліджено значення багатоетапного конвеєра структурного спрощення моделі сегментації зображень, починаючи із критичної фази адаптації сегментаційної моделі, під час якої повномасштабна модель-вчитель спеціалізується на формуванні стійких апріорних знань про цільові текстури об'єктів та геометрію приміщень, що створює доменно-орієнтований базовий рівень для передачі знань. Реалізовано алгоритм почергового спрощення структури моделі сегментації зображень, який здійснює декомпозицію енкодера на незалежні внутрішні вимірності, що дає змогу здійснювати послідовне структурне спрощення архітектури сегментаційної моделі зі збереженням архітектурної цілісності цієї моделі для узгодження ознак на проміжних рівнях. Інтегровано надійний конвеєр аугментації даних на етапах дистиляції та відновлення сегментаційної моделі, впроваджуючи складні геометричні та фотометричні трансформації зображень для стабілізації процесу навчання сегментаційної моделі та мінімізації ризику її перенавчання за умов дефіциту розмічених даних. Показано, що такий комплексний підхід до спрощення внутрішньої структури сегментаційної моделі забезпечує скорочення загальної кількості навчальних параметрів на 73,3 % та зменшення кількості операцій множення з накопиченням (MACs) на 74,3 %, що фактично дає можливість подвоїти швидкість інференсу – від 7 до 15 кадрів за секунду (FPS). Визначено, що оптимізована модель-учень демонструє тільки незначне зниження точності (приблизно на 1 %) порівняно зі спеціалізованою моделлю-вчителем, стабільно перевершуючи показники стандартного алгоритму SlimSAM як за деталізацією семантичних масок, так і за загальною стійкістю до факторів зовнішнього середовища. Встановлено, що розроблена модель сегментації зображень виявляє значно вищу резистентність до варіацій освітлення та впливу тіней, успішно вирішуючи критичну проблему базових архітектур сегментації зображень, таких як FastSAM, які часто спотворюють маски сегментації за умов висококонтрастного внутрішнього освітлення. З'ясовано, що інтеграція доменно-специфічного спрощення та дистиляції з аугментацією даних забезпечує дещо ефективніший та стабільніший шлях для впровадження складних систем інтелектуального зору реального часу на автономних платформах з обмеженими обчислювальними ресурсами.