Стратегії комп'ютерного зору на основі глибокого навчання та декількох камер для відстеження дронів

Сучасні дрони стають розумнішими завдяки інтеграції глибокого навчання та комп'ютерного зору. У недавньому дослідженні, опублікованому в IPSJ Transactions on Computer Vision and Applications, представлені новаторські методи виявлення та відстеження дронів з використанням багатокамерних систем та вдосконалених алгоритмів.

Дослідники запропонували систему, що складається зі статичної ширококутної камери і турелі, що обертається, з вузькокутною камерою з високою роздільною здатністю. Ця система може виявляти малі об'єкти на великих відстанях та детально аналізувати їх за допомогою камер з можливістю масштабування. В основі цієї технології лежить модифікована архітектура YOLOV3, оптимізована для швидкого і точного виявлення.

Система, представлена ​​у дослідженні, складається з кількох ключових компонентів, кожен з яких відіграє важливу роль у забезпеченні високої точності та ефективності виявлення та відстеження дронів.

Ширококутна камера

Ширококутна камера встановлена ​​на стаціонарній платформі та оснащена об'єктивом з фокусною відстанню 16 мм, що забезпечує кут огляду близько 110°. Це дозволяє камері охоплювати великі області та забезпечувати моніторинг на великих відстанях. Камера здатна передавати зображення з роздільною здатністю 2000х1700 пікселів при швидкості близько 25 кадрів в секунду. Широкий кут огляду відіграє критичну роль у початковому виявленні малих об'єктів, таких як дрони, на горизонті, що дозволяє системі швидко реагувати на появу нових об'єктів у полі зору.

Турель, що обертається, з вузькокутною камерою

Друга камера системи встановлена ​​на турелі, яка обертається, що дозволяє їй змінювати кут огляду і стежити за об'єктами, виявленими широкою камерою. Вузькокутна камера оснащена об'єктивом з фокусною відстанню 300 мм, що забезпечує кут огляду близько 8.2° та можливість збільшення більш ніж у 35 разів. Ця камера призначена для детального аналізу об'єктів на великих відстанях, дозволяючи системі точно ідентифікувати та відстежувати дрони. Турель може швидко повертатися та настроювати кут камери для захоплення високоякісних зображень цільових об'єктів.

Основний обчислювальний блок на базі Linux

Центральним елементом системи є основний обчислювальний блок, що є комп'ютером на базі операційної системи Linux, оснащений графічним процесором NVIDIA. Цей блок обробляє зображення, отримані від камер, та виконує алгоритми глибокого навчання у графічному процесорі основного обчислювального блоку, яким є пам'ять NVIDIA Geforce K620 об'ємом 2 Гб. Використання GPU дозволяє системі обробляти великі обсяги даних у реальному часі та забезпечувати високу продуктивність при виконанні складних обчислювальних завдань. Алгоритми глибокого навчання, такі як YOLOv3, були модифіковані та оптимізовані для роботи в цій системі, що дозволяє досягати високої точності та швидкості виявлення.

Ці компоненти працюють у тісній інтеграції, забезпечуючи високу надійність та ефективність системи виявлення та відстеження дронів. Взаємодія ширококутної та вузькокутної камер, а також потужного обчислювального блоку дозволяє системі швидко та точно реагувати на появу дронів у полі зору, забезпечуючи високий рівень безпеки та контролю.

Для виявлення дронів система використовує модифіковану версію YOLOv3, яка дозволяє ефективно обробляти зображення та виявляти дрібні об'єкти. На відміну від стандартних підходів цей метод використовує регресійну модель для швидкої локалізації об'єктів на зображенні. Модифікація архітектури YOLOv3 включала зменшення кількості фільтрів при збереженні кількості шарів, що дозволяє оптимізувати систему роботи на обмежених ресурсах GPU.

Ця інноваційна система забезпечує високу точність та швидкість виявлення, що робить її ідеальною для використання у завданнях забезпечення безпеки та спостереження. Вона здатна виявляти дрони на горизонті, відстежувати їх рухи та, за необхідності, аналізувати їх за допомогою вузькокутної камери.

Дослідження демонструє потенціал глибокого навчання у покращенні можливостей дронів для виконання складних завдань у реальному часі, включаючи галузі забезпечення безпеки, проведення спостережень та рятувальних операцій.