Методологія компресії нейронних мереж для моделей многосенсорних трансдюсерних мереж на основі периферійних обчислень

Автор(и)

  • Іван Михайлович Лобачев Одеський національний політехнічний університет, пр. Шевченка, 1. Одеса, 65044,Україна
  • Світлана Григорівна Антощук Одеський національний політехнічний університет, пр. Шевченка, 1. Одеса, 65044,Україна
  • Микола Анатолійович Годовиченко Одеський національний політехнічний університет, пр. Шевченка, 1. Одеса, 65044,Україна

DOI:

https://doi.org/10.15276/hait.03.2021.3

Ключові слова:

Розумна будівля, інтернет речей, компресія нейронних мереж, проріджування мережі, розріджене представлення нейронної мережі, рекурентна нейронна мережа, короткочасна довгострокова пам'ять

Анотація

У цій статті основна увага приділяється розробці методу компресії нейронних мереж, який заснований на механізмі виключення нейронів прихованих шарів. Вищезазначені нейронні мережі створюються для обробки даних, що генеруються численними сенсорами, присутніми в трансдюсерних мережах, які використовуються в області створення розумних будинків. Запропонований метод реалізує єдиний підхід до компресії як згорткових нейронних мереж, так і рекурентних нейронних мереж, які використовуються для задач класифікації і регресії. Основний принцип цього методу заснований на механізмі виключення, який використовується в якості механізму регуляризації нейронних мереж. Ідея запропонованого методу полягає у виборі оптимальної ймовірності виключення нейрона прихованого шару на основі параметра надмірності. Новизна цього методу полягає у використанні спеціальної мережі-оптимізатора, яка представляє собою рекурентну нейронну мережу, що дозволяє обчислювати параметр надмірності не тільки на одному прихованому шарі, але і на кількох шарах. Додатковий аспект новизни полягає в ітеративній оптимізації мережі-оптимізатора для постійного поліпшення обчислення параметрів надмірності вхідної нейронної мережі. Для експериментальної оцінки запропонованого методу була обрана задача розпізнавання зображень камерою низького розширення, для емуляції сценарію використовувався набір даних CIFAR10. В якості експериментальної нейронної мережі була обрана згорткова нейронна мережа VGGNet, яка містить згорткові і повнозв'язні шари. В якості методів-аналогів був узятий метод MagBase, який заснований на принципі спарцифікаціі, а також метод, заснований на розрідженому представленні з використанням підходу розрідженого кодування SFAC. Результати експерименту показали, що кількість параметрів в скомпресованій моделі складає всього 2,38 % від оригінальної моделі. Це дозволило скоротити час логічного висновку на 93,7 % і споживання енергії на 94,8 %. Запропонований метод дозволяє ефективно використовувати глибокі нейронні мережі в трансдюсерних мережах, що використовують архітектуру периферійних обчислень. Це, в свою чергу, дозволяє системі обробляти дані в реальному часі, скоротити споживання енергії і час логічного висновку, а також зменшити вимоги до пам'яті та сховища для реальних додатків.

Завантаження

Дані завантаження ще не доступні.

Біографії авторів

Іван Михайлович Лобачев, Одеський національний політехнічний університет, пр. Шевченка, 1. Одеса, 65044,Україна

аспірант кафедри Інформаційних систем

Scopus ID: 57192379296

 

 

Світлана Григорівна Антощук, Одеський національний політехнічний університет, пр. Шевченка, 1. Одеса, 65044,Україна

доктор технічних наук, професор, директор інституту Комп’ютерних систем

Scopus ID: 8393582500

 

Микола Анатолійович Годовиченко, Одеський національний політехнічний університет, пр. Шевченка, 1. Одеса, 65044,Україна

кандидат технічних наук, доцент кафедри Проектного навчання в IT Scopus ID: 57188700773

 

Опубліковано

2021-03-14

Як цитувати

Lobachev, I. M., Antoshchuk, S. G., & Hodovychenko, M. A. . (2021). Methodology of neural network compression for multi-sensor transducer network models based on edge computing principles. Вісник сучасних інформаційних технологій, 4(3), 232-243. https://doi.org/10.15276/hait.03.2021.3

Статті цього автора (авторів), які найбільше читають

<< < 1 2