Розділення простору даних перед застосуванням хешування за допомогою алгоритмів кластеризації

Анотація

Це дослідження представляє методологію локально-чутливого хешування, яка підвищує ефективність пошуку наближених найближчих сусідів шляхом інтеграції адаптивних кодувальних дерев і кластеризації на основі двоспрямовані кодувальні представлення з трансформерів. Запропонований підхід оптимізує розділення простору даних перед застосуванням хешування, що покращує точність пошуку та зменшує обчислювальні витрати. По-перше, мультимодальні дані, такі як зображення та текстові описи, перетворюються у спільний семантичний простір за допомогою попередньо навченої моделі двоспрямовані кодувальні представлення з трансформерів. Це забезпечує крос-модальну узгодженість і сприяє порівнянню у високорозмірному просторі. По-друге, методи зменшення розмірності, такі як уніфіковане апроксимування та проєкція многовидів або t-розподілене вкладення стохастичної близькості, застосовуються для усунення ефекту “прокляття розмірності” при збереженні ключових зв’язків між точками даних. По-третє, створюється адаптивне кодувальне дерево, яке динамічно сегментує простір даних на основі його статистичного розподілу, забезпечуючи ефективну ієрархічну кластеризацію. Кожна точка даних конвертується у символьне представлення, що дозволяє здійснювати швидкий пошук за допомогою структурованого хешування. До того ж, до закодованого набору даних застосовується локально-чутливе хешування, що використовує p-стабільні розподіли для підтримки високої точності пошуку та зменшення розміру індексів. Поєднання кодувальних дерев і локально-чутливе хешування сприяє ефективному відбору кандидатів при мінімізації витрат на пошук. Експериментальне тестування на наборі даних CarDD, який містить зображення пошкоджень автомобілів та їх анотації, демонструє, що запропонований метод перевершує сучасні техніки наближений найближчий сусід як за ефективністю індексації, так і за точністю пошуку. Результати підкреслюють його адаптивність до масштабних, високорозмірних та мультимодальних наборів даних, що робить його придатним для діагностичних моделей і завдань у режимі реального часу.