Псевдомаркування даних трансферного навчання згорткової нейронної мережі для розпізнавання емоцій на обличчі людини

Анотація

Показано актуальність розв'язання задачі розпізнавання емоцій на зображенні людини при створенні сучасних інтелектуальних систем комп'ютерного зору та людино-машинної взаємодії, онлайн-навчання та емоційного маркетингу, охорони здоров’я та криміналістики, машинної графіки та ігрового інтелекту. Показано вдалі приклади технологічних рішень задачі розпізнавання емоцій з використанням трансферного навчання глибоких згорткових нейронних мереж. Але використання таких популярних датасетів як DISFA, CelebA, AffectNet для глибокого навчання згорткових нейронних мереж не дає хороших результатів по точності розпізнавання емоцій тому, що майже всі навчальні вибірки мають принципові недоліки, пов’язані з похибками при їх створенні такими, як відсутність даних певного виду, незбалансованість класів, суб’єктивність та багатозначність маркування, недостатній для глибинного навчання об’єм даних, тощо. Запропоновано зазначені недоліки популярних датасетів для розпізнавання емоцій долати за рахунок додавання у навчальну вибірку додаткових псевдо-маркованих зображень з емоціями людини, на яких розпізнавання відбувається з високою точністю. Метою роботи є підвищення точності розпізнавання емоцій на зображенні обличчя людини за рахунок розробки методу псевдо-маркування для трансферного навчання глибокої нейронної мережі. Для досягнення мети вирішено такі завдання: скориговано на наборі даних RAF−DB для вирішення завдань розпізнавання емоцій модель згорткової нейронної мережі, попередньо навчену на наборі ImageNet за допомогою методу трансферного навчання; розроблено метод псевдомаркування даних набору RAF−DB для полу-контрольованого навчання моделі згорткової нейронної мережі для задачі розпізнавання емоцій на зображенні людини; проаналізовано точність розпізнавання емоцій на зображенні людини на основі розроблених моделі згорткової нейронної мережі та методу псевдо-маркування даних набору RAF-DB для її коригування. Показано, що використання розробленого метода псевдо-маркування даних трансферного навчання моделі згорткової нейронної мережі MobileNet V1 дозволило підвищити точність розпізнавання емоцій людини на зображеннях набору даних RAF-DB на 2 відсотка (з 76% до 78%) за оцінкою F1. При цьому, враховуючи суттєву незбалансованість класів 7 основних емоцій в тренувальній виборці маємо суттєве збільшення точності розпізнавання нечисленних представників таких емоцій як здивованості (з 71 до 77 %), страху (з 64 до 69 %), суму(з 72 до 76 %), злості з (з 64 до 74 %), нейтральності (з 66 до 71%), точність розпізнавання емоції щастя, що є найбільш поширеною знизилась (з 91 до 86 %) Таким чином, можна зробити висновок, що використання розробленого метода псевдо-маркування дає гарні результати в подоланні таких недоліків датасетів для глибинного навчання згорткових нейронних мереж як відсутність даних певного виду, незбалансованість класів, недостатній для глибинного навчання об’єм даних, тощо.