Розробка програмної системи для автоматизованого збору та обробки даних про вразливості програмного забезпечення з використанням конвеєра даних

Abstract

У кваліфікаційній роботі розв’язано практичну задачу інженерії програмного забезпечення, пов’язану з автоматизацією збору, обробки та зберігання даних про кібервразливості. Метою роботи є розробка програмної системи, яка забезпечує інкрементальне отримання відомостей із National Vulnerability Database, очищення та трансформацію JSON-даних, збереження результатів у реляційній базі PostgreSQL і автоматизовану оркестрацію процесів за допомогою Apache Airflow. У першому розділі проаналізовано предметну область моніторингу вразливостей, особливості NVD API та існуючі програмні аналоги. У другому розділі визначено функціональні й нефункціональні вимоги, побудовано діаграми проєктування, розроблено архітектуру ETL-конвеєра та реляційну модель даних. У третьому розділі описано практичну реалізацію модулів вилучення, трансформації та завантаження даних, налаштування DAG в Apache Airflow, а також результати тестування й верифікації роботи системи. Четвертий розділ присвячено питанням охорони праці під час роботи з екранними пристроями. Об’єктом роботи є процес розробки програмного забезпечення для автоматизованого збору, обробки та зберігання даних про кібервразливості. Кваліфікаційна робота викладена на 103 сторінках друкованого тексту та містить 16 рисунків, 3 таблиці, список використаних джерел з 20 найменувань і 5 додатків.