Аналіз та дослідження штучних нейронних мереж для розпізнавання емоційно-мімічних компонентів людської промови

Abstract

Аналіз та дослідження штучних нейронних мереж для розпізнавання емоційно-мімічних компонентів людської промови. Кваліфікаційна робота на здобуття освітнього рівня магістра зі спеціальності 122 – «Комп’ютерні науки». Херсонський навчально-науковий інститут Національного університету кораблебудування імені адмірала Макарова. Херсон, 2024 р. Обсяг роботи: 92 сторінки, 8 таблиць, 37 рисунків, 30 використаних джерел. Актуальність теми. В існуючому турбулентному середовищі широке розповсюдження отримують аудіовізуальні помічники й антропоморфні роботи, для успішної роботи яких необхідно якісне аудіовізуальне моделювання та розпізнавання, яке неможливо без знань про синхронізації різних інформаційних каналів. При цьому важливо розглянути особливості взаємодії аудіо- і відеоряду як в нейтральній мові, так і в мові, яка має експресивні ознаки. Мета і завдання дослідження. Метою є аналіз та дослідження розпізнавання іронії, як варіанта експресивної мови, на основі емоційно-мімічних компонентів людської мови з застосуванням глибокого навчання нейронної мережі. Для досягнення поставленою мети потрібно вирішити наступні завдання, які полягають в аналізі існуючих підходів до розпізнавання емоцій, розробці та навчанні згорткової нейронної мережі для ідентифікації іронії на основі емоційно-мімічних компонентів людської мови. Об’єктом досліджень є емоційно-мімічні компоненти людської мови. Предметом досліджень є методи і технології розпізнавання емоційних проявів на основі мімічних компонентів із застосуванням ШНМ. Методи дослідження. Аналіз та синтез літературних джерел, використання згорткових нейронних мереж, розробка алгоритмів обробки відео та зображень, експериментальне тестування із застосуванням навчальних наборів даних. Наукова новизна одержаних результатів. Полягає в розробці підходу до розпізнавання іронії на основі аналізу емоційно-мімічних компонентів людської мови із застосуванням згорткових нейронних мереж, що забезпечує підвищення точності класифікації. Вперше обґрунтовано залежність між виразністю іронії та змінами мімічних м’язів, що дозволило оптимізувати процес навчання і виявлення експресивних проявів. Практичне значення отриманих результатів. Отримані результати можуть бути використані для розробки інтерактивних систем, що визначають емоційний стан співрозмовника. Вони також корисні для розробки навчальних моделей у галузі штучного інтелекту, що використовуються у соціальних роботах, відеоаналізі та інших додатка. Апробація результатів досліджень. Основні результати дослідження, представлені на VII всеукраїнській науково-практичній інтернет-конференції студентів, аспірантів та молодих вчених за тематикою: «Сучасні комп’ютерні системи та мережі управління» (м. Херсон, 29.11.2024).