Оцінка відео, згенерованого штучним інтелектом, шляхом фрагментного аналізу

Анотація

Нещодавні досягнення в генеративному штучному інтелекті призвели до розробки методів створення візуально реалістичного синтетичного відео. Як наслідок, зростає попит на детектори, здатні розрізняти відео, згенеровані штучним інтелектом. У цій статті ми пропонуємо компактне, фрагментарне представлення відеокадрів, яке дозволяє проводити надійний просторово-часовий аналіз та новий підхід до розрізнення реальних та синтетично згенерованих відеоматеріалів.

Для досягнення цієї мети кожен кадр розділяється на фрагменти та формується квадратна матриця розміром BxB. Далі ми обчислюємо домінантне сингулярне значення для кожного фрагменту, що дає квадратну S-карту. Ця конструкція зберігає локальну структуру, нормалізуючи геометрію, тому стандартні 2D-оператори можна застосовувати рівномірно. Ми аналізуємо просторову організацію за допомогою енергій 2D-дискретного косинусного перетворення (DCT) та часових змін з надійним пороговим регулюванням для формування бінарної маски змін. Потім ми застосовуємо маркування зв'язних компонентів (CCL) до бінарної маски змін (4- або 8-зв'язність) та обчислюємо площу найбільшої зв'язної компоненти (LCC). Ми отримуємо часовий ряд LCC, який вимірює просторову концентрацію змін. Емпірично, синтетичні відео демонструють вищі показники перемикання майже бінарного LCC, довші плато, збільшену масу на раціональних кроках та меншу кількість унікальних рівнів, ніж реальні відео – сигнатури, що узгоджуються з часовим квантуванням та процедурною динамікою. Конвеєр є легким (фрагментно-ранговий SVD + CCL на малій сітці), легко інтерпретується для аудиту та підходить для пакетного скринінгу та периферійних пристроїв. Він досягає ROC-AUC ≈ 0,86 та TNR ≈ 0,94 на наборах даних зі змішаною роздільною здатністю з додатковими перевагами від калібрування на рівні гранулярності.