До проблеми локальних мінімумів при навчанні глибоких нейронних мереж

Abstract

В роботі розглянута проблема локальних мінімумів при навчанні повнозв’язних штучних нейронних мереж, що виявляється у завмиранні навчання в області нераціональних або неприйнятних рішень. Виконано порівняльний аналіз стану мережі при потраплянні у локальний мінімум для нейронних мереж з різною кількістю шарів. На основі результатів аналізу запропонована модель навчання, що дозволяє зменшити вплив локальних мінімумів на процес навчання глибоких нейронних мереж шляхом визначення нейронів, що обумовлюють завмирання процесу навчання, і їх модифікації для виходу з локального мінімуму. Показані результати практичної апробації розробленої моделі.