Interfaceamento de Embeddings de Modelos Fundamentais

Interfacing Foundation Models' Embeddings

December 12, 2023

Autores: Xueyan Zou, Linjie Li, Jianfeng Wang, Jianwei Yang, Mingyu Ding, Zhengyuan Yang, Feng Li, Hao Zhang, Shilong Liu, Arul Aravinthan, Yong Jae Lee, Lijuan Wang

cs.AI

Resumo

Apresentamos o FIND, uma interface generalizada para alinhar embeddings de modelos fundamentais. Como mostrado na figura introdutória, uma interface leve baseada em transformers, sem ajustar os pesos de nenhum modelo fundamental, é suficiente para uma compreensão unificada em nível de imagem (segmentação) e de conjunto de dados (recuperação). A interface proposta possui os seguintes atributos favoráveis: (1) Generalizável. Aplica-se a várias tarefas, como recuperação, segmentação, etc., sob a mesma arquitetura e pesos. (2) Prototipável. Diferentes tarefas podem ser implementadas por meio da prototipagem de máscaras de atenção e tipos de embeddings. (3) Extensível. A interface proposta é adaptável a novas tarefas e novos modelos. (4) Intercalável. Com o benefício do treinamento multitarefa e multimodal, a interface proposta cria um espaço de embeddings compartilhado intercalado. Em vista do espaço de embeddings intercalado, introduzimos o FIND-Bench, que adiciona novas anotações de treinamento e avaliação ao conjunto de dados COCO para segmentação e recuperação intercaladas. Nossa abordagem alcança desempenho de ponta no FIND-Bench e desempenho competitivo em configurações padrão de recuperação e segmentação. O código de treinamento, avaliação e demonstração, bem como o conjunto de dados, foram disponibilizados em https://github.com/UX-Decoder/FIND.

English

We present FIND, a generalized interface for aligning foundation models' embeddings. As shown in teaser figure, a lightweight transformer interface without tuning any foundation model weights is enough for a unified image (segmentation) and dataset-level (retrieval) understanding. The proposed interface has the following favorable attributes: (1) Generalizable. It applies to various tasks spanning retrieval, segmentation, etc., under the same architecture and weights. (2) Prototypable. Different tasks are able to be implemented through prototyping attention masks and embedding types. (3) Extendable. The proposed interface is adaptive to new tasks, and new models. (4) Interleavable. With the benefit of multi-task multi-modal training, the proposed interface creates an interleaved shared embedding space. In light of the interleaved embedding space, we introduce the FIND-Bench, which introduces new training and evaluation annotations to the COCO dataset for interleave segmentation and retrieval. Our approach achieves state-of-the-art performance on FIND-Bench and competitive performance on standard retrieval and segmentation settings. The training, evaluation, and demo code as well as the dataset have been released at https://github.com/UX-Decoder/FIND.