Вебсистема для автоматизованого контролю якості програмного забезпечення на базі моделей великих мов програмування

Abstract

Мета. Метою дослідження є розробка вебзастосунку для автоматизованого виявлення, виправлення та оцінювання проблем у програмному коді різного рівня складності з використанням статичного аналізу CodeQL та великих мовних моделей (LLM), таких як GPT-4.5 Turbo та GPT-5. Дослідження спрямоване на створення інтегрованого інструменту, який дозволяє скоротити людські витрати та підвищити ефективність процесів забезпечення якості програмного забезпечення. Методика. Запропоновано гібридний підхід, що поєднує традиційний статичний аналіз коду з генеративними можливостями LLM для створення автоматизованих виправлень. Система складається з трьох взаємопов’язаних модулів: інструменту витягування проблем, засобу виправлення проблем коду та інструменту порівняння коду. Конвеєр забезпечує повний цикл обробки: виявлення проблем, пропозицію виправлень, автоматичну оцінку їх точності та коректності. Впроваджено алгоритми обробки великої кількості файлів, паралельного виконання запитів та інтеграції результатів з LLM для мінімізації втручання людини. Результати. Експериментальне дослідження проведено на 483 файлах із понад 6759 проблемами різного типу. Результати показали, що запропонований вебзастосунок дозволяє суттєво знизити зусилля розробників, зберігаючи високу точність та повноту виправлень. Виявлено, що комбінування CodeQL із різними моделями LLM забезпечує оптимальний баланс між вартістю обчислень та якістю генерованих змін, а також підвищує швидкість валідації виправлень у порівнянні з ручними методами. Наукова новизна. Уперше запропоновано інтегрований конвеєр автоматизації управління якістю коду, який одночасно використовує статичний аналіз, генеративні моделі та модуль порівняння результатів. Новизна полягає у використанні LLM не лише для генерації виправлень, а й для їх автоматичної оцінки та ранжування, що забезпечує високу надійність результатів. Практична значимість. Запропоноване рішення дозволяє значно скоротити час на ручну перевірку та виправлення коду, підвищити ефективність процесу забезпечення його якості та створює основу для побудови повністю автоматизованих систем контролю. Подальший розвиток передбачає інтеграцію відкритих LLM та зменшення людського втручання, що відкриває перспективи для масштабування у великих проєктах та підвищення продуктивності розробників.