Интерфейсирование эмбеддингов базовых моделей

Interfacing Foundation Models' Embeddings

December 12, 2023

Авторы: Xueyan Zou, Linjie Li, Jianfeng Wang, Jianwei Yang, Mingyu Ding, Zhengyuan Yang, Feng Li, Hao Zhang, Shilong Liu, Arul Aravinthan, Yong Jae Lee, Lijuan Wang

cs.AI

Аннотация

Мы представляем FIND — универсальный интерфейс для согласования эмбеддингов базовых моделей. Как показано на иллюстрации, легковесный трансформерный интерфейс, не требующий настройки весов базовых моделей, достаточен для унифицированного понимания на уровне изображений (сегментация) и наборов данных (поиск). Предлагаемый интерфейс обладает следующими преимуществами: (1) Универсальность. Он применим к различным задачам, таким как поиск, сегментация и другие, в рамках одной архитектуры и весов. (2) Прототипируемость. Различные задачи могут быть реализованы через прототипирование масок внимания и типов эмбеддингов. (3) Расширяемость. Предложенный интерфейс адаптируется к новым задачам и моделям. (4) Переплетаемость. Благодаря многозадачному и многомодальному обучению, предложенный интерфейс создает переплетенное общее пространство эмбеддингов. В свете этого переплетенного пространства мы представляем FIND-Bench, который добавляет новые аннотации для обучения и оценки в набор данных COCO для переплетенной сегментации и поиска. Наш подход демонстрирует передовые результаты на FIND-Bench и конкурентоспособные результаты в стандартных задачах поиска и сегментации. Код для обучения, оценки и демонстрации, а также набор данных доступны по адресу https://github.com/UX-Decoder/FIND.

English

We present FIND, a generalized interface for aligning foundation models' embeddings. As shown in teaser figure, a lightweight transformer interface without tuning any foundation model weights is enough for a unified image (segmentation) and dataset-level (retrieval) understanding. The proposed interface has the following favorable attributes: (1) Generalizable. It applies to various tasks spanning retrieval, segmentation, etc., under the same architecture and weights. (2) Prototypable. Different tasks are able to be implemented through prototyping attention masks and embedding types. (3) Extendable. The proposed interface is adaptive to new tasks, and new models. (4) Interleavable. With the benefit of multi-task multi-modal training, the proposed interface creates an interleaved shared embedding space. In light of the interleaved embedding space, we introduce the FIND-Bench, which introduces new training and evaluation annotations to the COCO dataset for interleave segmentation and retrieval. Our approach achieves state-of-the-art performance on FIND-Bench and competitive performance on standard retrieval and segmentation settings. The training, evaluation, and demo code as well as the dataset have been released at https://github.com/UX-Decoder/FIND.