Прискорення процесу навчання нейронної мережі шляхом прогнозування вагового коефіцієнта

Анотація

Мета даного дослідження - аналіз та імплементація прискорення процесу навчання нейронної мережі шляхом передбачення вагових коефіцієнтів. Визначається актуальність прискорення навчання нейронних мереж, а також можливість застосування моделей прогнозування в широкому колі завдань, де потрібна побудова швидких класифікаторів. Наприклад, коли дані надходять у реальному часі від системи датчиків для подальшої оцінки структури та стану речовин. Роботи з прискорення класифікаторів зазвичай присвячені прискоренню класифікатора, що застосовується. Розрахунок прогнозованих значень вагових коефіцієнтів відбувається за допомогою розрахунку значень за допомогою відомих моделей прогнозування. Була перевірена можливість комбінованого застосування моделей прогнозування та моделей оптимізації для прискорення процесу навчання нейронної мережі. Наукова новизна дослідження полягає в аналізі ефективності застосування моделей прогнозування при навчанні нейронних мереж. Для експериментальної оцінки ефективності використання моделей прогнозування було обрано завдання класифікації. Для вирішення експериментальної задачі був обраний тип нейронної мережі «Багатошаровий персептрон». Експеримент розділений на кілька етапів: початкове навчання нейронної мережі без моделі, а потім вже з використанням моделей прогнозування; початкове навчання нейронної мережі без методів оптимізації, а потім за допомогою методів оптимізації; початкове навчання нейронної мережі з використанням комбінацій моделей прогнозування та методів оптимізації; вимірювання відносної погрішності використання моделей прогнозування, методів оптимізації та комбінованого використання. В експерименті використовувалися такі моделі, як «Сезонна лінійна регресія», «Просте середнє» і «Скачок». Модель «Скачок» була запропонована та розроблена за результатами спостереження залежностей змін значень вагового коефіцієнта від епохи. Для навчання нейронної та наступної перевірки комбінованого використання моделей прогнозування з методами оптимізації були обрані такі методи, як «Адаград», «Ададельта», «Адам». В результаті дослідження виявлена ефективність застосування моделей прогнозування при прогнозуванні вагових коефіцієнтів нейронної мережі. Представлена ідея та використані моделі, які можуть дозволити багатократно скоротити час навчання нейронної мережі. Ідея використання моделей прогнозування полягає в тому, що модель зміни вагового коефіцієнта від епохи є тимчасовим рядом, яка в свою чергу прагне до визначеного значення. В результаті дослідження було виявлено, що можна комбінувати моделі прогнозування та моделі оптимізації. Також моделі прогнозування ніяк не протидіють моделям оптимізації, так як не діють на формулу самого навчання, внаслідок чого можна досягнути швидкого навчання нейронної мережі. У практичній частині роботи були використані дві відомі моделі прогнозування та запропонована розроблена модель. В результаті експерименту були визначені умови експлуатації при застосуванні моделей прогнозування.