Localization and generative control of concept-specific neurons in deep neural networks

Abstract

Глибокі нейронні мережі (ГНМ) залишаються «чорними скриньками» через відсутність інтерпретованих механізмів для представлення концептів. Це дослідження пропонує метод локалізації мінімальних наборів нейронів, специфічних для концептів (наприклад, «кішка»), за допомогою евристики L0-оптимізації та маскування активації, що дозволяє генеративний контроль та аналіз парейдолії. Експерименти на VGG16 (ImageNet) підтверджують ефективність цього підходу: абляція ідентифікованих нейронів знижує точність класів на >75%, тоді як їх активація на зашумлених зображеннях виявляє ілюзорне розпізнавання образів, подібне до людського.