Automated rule generation for optimal data selection in robust neural network training

Abstract

Дані є серцем сучасного машинного навчання, проте процес їхнього курирування – вибору та підготовки правильних зразків для тренування – залишається значним вузьким місцем. Це ручне й часто інтуїтивне завдання не лише забирає багато часу, а й може призвести до неоптимальної продуктивності моделі. У цій статті представлено нову структуру, розроблену для автоматизації та оптимізації цього критично важливого кроку. Мета. Основна мета цього дослідження полягає у вирішенні критичної проблеми в конвеєрі машинного навчання: ручного, тривалого та суб’єктивного процесу курування даних. Ключове завдання – розробити новий автоматизований фреймворк, здатний генерувати явні, людино-зрозумілі правила для оптимального відбору даних у контексті навчання глибоких нейронних мереж. Цей фреймворк призначений для систематичної заміни ручних зусиль шляхом інтелектуальної фільтрації великих, потенційно зашумлених наборів даних для створення меншої, але інформаційно насиченої вибірки. Кінцеві цілі є потрійними: максимізувати підсумкову точність і здатність до узагальнення цільової моделі, підвищити її робастність (стійкість) до зашумлених або нерозподілених даних, а також значно прискорити збіжність навчання, тим самим зменшуючи обчислювальні витрати та час розробки. Ця робота є фундаментальним кроком до більш ефективного управління життєвим циклом моделей, зокрема як попередній етап для створення надійних систем безперервного навчання. Методика. Запропонована методологія базується на підході мета-навчання. Спочатку первинна модель (Mprimary) проходить коротке навчання на випадковій вибірці даних для встановлення початкового стану. Потім ця модель використовується для оцінки кожної точки даних (xi ) у повному нефільтрованому наборі, присвоюючи їй кількісну «оцінку корисності» U(xi ). Ця оцінка є зваженою лінійною комбінацією трьох різних, взаємодоповнюючих метрик: інформаційна ентропія, що вимірює невизначеність моделі та надає пріоритет найбільш інформативним зразкам; складність для моделі, що обчислюється через функцію втрат і виявляє складні приклади або межові випадки; репрезентативність у просторі ознак, що забезпечує різноманітність даних шляхом пріоритезації зразків із недостатньо представлених областей, запобігаючи упередженості в бік викидів. Після оцінювання дані поділяються на класи «високої корисності» та «низької корисності». Далі проста, інтерпретовна модель машинного навчання (наприклад, дерево рішень) навчається як мета-модель (Mmeta) на ознаках та метаданих для прогнозування класу корисності. Логіка, вивчена цією мета-моделлю, витягується та формулюється у вигляді набору явних правил фільтрації. Результати. На основі запропонованого дизайну експерименту, який порівнює модель, навчену на відфільтрованому наборі даних, з базовою моделлю (навченою на всіх даних) та моделлю випадкової підвибірки (навченою на випадково обраній вибірці того ж розміру), ми очікуємо однозначних висновків. Передбачається, що запропонована модель досягне підсумкової точності класифікації на чистому тестовому наборі, яка буде порівнянна або навіть перевищить базову модель, незважаючи на використання значно меншого навчального набору. З точки зору ефективності, очікується, що вона продемонструє суттєво вищу швидкість збіжності. Найголовніше, очікується, що запропонована модель матиме вищу робастність, показуючи меншу деградацію продуктивності при оцінці на тестових даних, пошкоджених шумом або підданих змагальним атакам. Очікується, що модель випадкової підвибірки покаже найнижчу точність, що підтвердить, що приріст продуктивності зумовлений саме інтелектуальною стратегією відбору, а не просто зменшенням даних. Наукова новизна. Наукова новизна цієї роботи полягає в її унікальному результаті, що відрізняє її від суміжних парадигм, таких як активне навчання та навчання за навчальним планом. У той час як ці методи відбирають або впорядковують дані, наш фреймворк першим фокусується на автоматизованій генерації явних, людино-зрозумілих та багаторазово використовуваних правил відбору даних. Це змінює парадигму з «чорної скриньки» процесу відбору даних на інтерпретовану, надаючи цінні інсайти про те, що саме є «хорошими» даними для конкретного завдання. Новизна також підсилюється синтезом ентропії, складності та репрезентативності в єдину функцію корисності, створюючи більш цілісний вимір цінності точки даних для робастного навчання моделі. Практична значимість. Практичні наслідки цього фреймворку є значними. Він пропонує прямий шлях до скорочення суттєвих витрат ручної праці та обчислювальних ресурсів, пов’язаних із підготовкою даних та навчанням моделей. Автоматизуючи курування даних, він може кардинально прискорити життєвий цикл розробки МН-систем. Моделі, отримані в результаті, не тільки навчаються швидше, але й є більш робастними та надійними, що є критичною вимогою для реальних застосувань. Крім того, згенеровані правила надають фахівцям з даних дієві інсайти про їхні набори даних. Нарешті, цей фреймворк має сильну синергію з системами безперервного навчання, де його можна використовувати для інтелектуального відбору найбільш інформативних нових зразків для ефективної адаптації моделі у відповідь на дрейф концепту.