Методологія компресії нейронних мереж для моделей многосенсорних трансдюсерних мереж на основі периферійних обчислень

Анотація

У цій статті основна увага приділяється розробці методу компресії нейронних мереж, який заснований на механізмі виключення нейронів прихованих шарів. Вищезазначені нейронні мережі створюються для обробки даних, що генеруються численними сенсорами, присутніми в трансдюсерних мережах, які використовуються в області створення розумних будинків. Запропонований метод реалізує єдиний підхід до компресії як згорткових нейронних мереж, так і рекурентних нейронних мереж, які використовуються для задач класифікації і регресії. Основний принцип цього методу заснований на механізмі виключення, який використовується в якості механізму регуляризації нейронних мереж. Ідея запропонованого методу полягає у виборі оптимальної ймовірності виключення нейрона прихованого шару на основі параметра надмірності. Новизна цього методу полягає у використанні спеціальної мережі-оптимізатора, яка представляє собою рекурентну нейронну мережу, що дозволяє обчислювати параметр надмірності не тільки на одному прихованому шарі, але і на кількох шарах. Додатковий аспект новизни полягає в ітеративній оптимізації мережі-оптимізатора для постійного поліпшення обчислення параметрів надмірності вхідної нейронної мережі. Для експериментальної оцінки запропонованого методу була обрана задача розпізнавання зображень камерою низького розширення, для емуляції сценарію використовувався набір даних CIFAR10. В якості експериментальної нейронної мережі була обрана згорткова нейронна мережа VGGNet, яка містить згорткові і повнозв'язні шари. В якості методів-аналогів був узятий метод MagBase, який заснований на принципі спарцифікаціі, а також метод, заснований на розрідженому представленні з використанням підходу розрідженого кодування SFAC. Результати експерименту показали, що кількість параметрів в скомпресованій моделі складає всього 2,38 % від оригінальної моделі. Це дозволило скоротити час логічного висновку на 93,7 % і споживання енергії на 94,8 %. Запропонований метод дозволяє ефективно використовувати глибокі нейронні мережі в трансдюсерних мережах, що використовують архітектуру периферійних обчислень. Це, в свою чергу, дозволяє системі обробляти дані в реальному часі, скоротити споживання енергії і час логічного висновку, а також зменшити вимоги до пам'яті та сховища для реальних додатків.