Багаторівнева автоматизована система керування роботизованою платформою для задач просторового моніторингу на основі комп'ютерного зору

Abstract

Дисертаційна робота присвячена розв’язанню актуальної науково- технічної задачі підвищення ефективності та безпеки просторового моніторингу в умовах, де рівень ризиків є критичним, зокрема у сценаріях гуманітарного розмінування та ідентифікації предметів. Традиційні підходи, що ґрунтуються на ручному обстеженні, залишаються повільними й небезпечними, а тому автоматизація на базі безпілотних платформ розглядається як один із найбільш перспективних напрямів розвитку відповідних технологій. У цьому контексті комп’ютерний зір та інтелектуальні методи аналізу даних дають змогу перейти від фрагментарного збору інформації до безперервного конвеєра обробки, який може підтримувати прийняття рішень у режимі, наближеному до реального часу, та зменшувати залежність результату від людського фактору. Метою дослідження є підвищення ефективності, швидкості та безпеки процесів виявлення небезпечних предметів за допомогою БПЛА шляхом створення багаторівневої автоматизованої системи керування, яка забезпечує мультимодальне злиття даних, семантичну верифікацію об’єктів і адаптивну корекцію траєкторії польоту під час виконання місії. Запропонований підхід передбачає, що безпілотна платформа виступає не лише носієм сенсорів, а активним агентом, який здатний змінювати поведінку залежно від контексту та узгоджених сигналів від різнорідних джерел інформації. Така логіка переводить моніторинг із парадигми пасивного збору та ретрансляції даних до замкненого циклу, у якому результати аналізу безпосередньо впливають на наступні дії платформи. Формулювання мети та ключових вимог до системи узгоджено з необхідністю одночасно підвищувати надійність розпізнавання та забезпечувати оперативність реакції на події, що виникають у польових умовах. Концептуально система будується як ієрархічна трирівнева архітектура «борт – наземна станція – хмара», де кожен рівень виконує власну роль у наскрізному процесі перетворення необроблених сенсорних масивів у верифіковану семантичну інформацію. У межах такої організації реалізується принцип паралельної асинхронної обробки інформаційних потоків у контурі «Edge–Ground–Cloud». Запропонований підхід забезпечує динамічне оркестрування обчислювальних процесів, де критичні для безпеки польоту задачі виконуються синхронно на бортовому обчислювачі з детермінованою латентністю, тоді як ресурсомісткі задачі семантичної верифікації та глобального планування місії виконуються асинхронно на наземному та хмарному рівнях. Це дозволяє збалансувати затримку прийняття рішень і глибину аналізу, а також раціонально використовувати обмежену пропускну здатність каналів зв’язку під час польових робіт. Методична основа роботи поєднує підходи теорії автоматичного керування, комп’ютерного зору, глибокого навчання, мультимодального аналізу та ймовірнісного прийняття рішень. У модулі комп’ютерного зору застосовано згорткові нейронні мережі сімейства YOLOv8 для детектування об’єктів у відеопотоці, а для підвищення семантичної надійності розпізнавання залучено візуально-мовні моделі, що дають змогу виконувати уточнення типу об’єкта та зменшувати частку хибних тривог у складних сценах. Фізичним каналом підтвердження виступає металодетектор, сигнали якого синхронізуються з відеоданими та телеметрією, утворюючи основу для мультисенсорного аналізу. Практична реалізація передбачає узгодження даних за часом і координатами, а також формування журналів і артефактів випробувань, що забезпечують трасованість від фінальної мітки ризику на карті до первинних вимірювань. Ключовим науково-прикладним результатом є формалізація математичної моделі зваженої агрегації довіри, яка об’єднує нормалізовані виходи візуального детектора, семантичного аналізу та металоканалу в інтегральний показник імовірності загрози, що використовується для прийняття рішень у системі. У роботі показано, що пряме оцінювання повних умовних імовірностей для кожного сенсора в реальному часі є практично складним, тому застосовано наближення у вигляді зваженого голосування, яке апроксимує байєсівську логіку оновлення та дозволяє гнучко налаштовувати робочу точку системи між чутливістю та специфічністю залежно від умов місії. Вагові коефіцієнти інтерпретуються як параметри довіри до каналів та можуть коригуватися з огляду на характеристики середовища, зокрема коли візуальний канал деградує через фон або рослинність, а канал металошукача зберігає інформативність. На основі такої інтеграції формується кінцевий показник, який порівнюється з порогом дії та ініціює або припиняє подальші кроки аналізу й керування. Важливою особливістю запропонованого підходу є те, що модель злиття даних вбудована у контур керування польотом. Розвинуто метод автоматичного адаптивного керування, який організовує замкнений цикл «детекція – семантична верифікація – корекція місії» на базі протоколу MAVLink, завдяки чому система здатна автоматично ініціювати детальніший огляд підозрілої зони, змінювати режим польоту та уточнювати траєкторію для підвищення якості даних. Такий зв’язок між розпізнаванням і керуванням дозволяє перетворити платформу з пасивного реєстратора на інструмент активного збору доказів, коли додаткові маневри виконуються не за командою оператора, а за умовою, визначеною агрегованою оцінкою ризику. Експериментальна частина дослідження спрямована на перевірку адекватності запропонованих моделей та оцінювання точності й часових характеристик системи в умовах, наближених до реальних. Для навчання та налаштування детектора сформовано спеціалізований набір даних, що містить 2500 кадрів із зображеннями вибухонебезпечних предметів визначених типів у реальних умовах експлуатації, що дало змогу забезпечити стійкість моделі до варіативності фону, масштабу та освітлення. Показано, що формалізована модель зваженої агрегації довіри підвищує надійність ідентифікації та дає змогу мінімізувати помилки першого й другого роду, забезпечуючи високу точність розпізнавання до 98% в умовах невизначеності зовнішнього середовища. Додатково продемонстровано операційний виграш багаторівневої інтеграції, що відображається у зростанні інтегральної ймовірності виявлення при використанні кількох каналів підтвердження. Практична цінність отриманих результатів підтверджується апробацією та впровадженням розробок на рівні діючого програмно-апаратного комплексу та впровадженням результатів у виробничій організації, що засвідчено актами. Реалізована система включає бортовий обчислювальний вузол, засоби збору відео та сигналів металодетектора, механізми синхронізації з телеметрією, а також інтеграцію з наземною станцією керування та хмарними сервісами аналізу. У сукупності це забезпечує цілісний технологічний ланцюг від збору даних до формування геоприв’язаних міток ризику та підтримки рішень щодо повторного обльоту чи деталізації обстеження. Отже, дисертаційне дослідження пропонує інтегрований підхід до автоматизації пошукових місій БПЛА, у якому багаторівнева архітектура розподіляє обчислення між бортом, наземною станцією та хмарою. Мультимодальна модель злиття даних підвищує достовірність ідентифікації, а замкнений контур керування забезпечує активну адаптацію траєкторії й режимів польоту на основі результатів комп’ютерного зору та сенсорного підтвердження. Сукупність запропонованих рішень формує основу для практичного застосування у задачах просторового моніторингу з високими вимогами до надійності, швидкодії та безпеки.