Interfaz de Incrustaciones de Modelos Fundacionales

Interfacing Foundation Models' Embeddings

December 12, 2023

Autores: Xueyan Zou, Linjie Li, Jianfeng Wang, Jianwei Yang, Mingyu Ding, Zhengyuan Yang, Feng Li, Hao Zhang, Shilong Liu, Arul Aravinthan, Yong Jae Lee, Lijuan Wang

cs.AI

Resumen

Presentamos FIND, una interfaz generalizada para alinear los embeddings de modelos fundacionales. Como se muestra en la figura introductoria, una interfaz ligera basada en transformadores, sin ajustar los pesos del modelo fundacional, es suficiente para lograr una comprensión unificada a nivel de imagen (segmentación) y de conjunto de datos (recuperación). La interfaz propuesta tiene los siguientes atributos favorables: (1) Generalizable. Se aplica a diversas tareas que abarcan recuperación, segmentación, etc., bajo la misma arquitectura y pesos. (2) Prototipable. Diferentes tareas pueden implementarse mediante la creación de prototipos de máscaras de atención y tipos de embeddings. (3) Extensible. La interfaz propuesta es adaptable a nuevas tareas y nuevos modelos. (4) Intercalable. Con el beneficio del entrenamiento multimodal y multitarea, la interfaz propuesta crea un espacio de embeddings compartido intercalado. En vista de este espacio de embeddings intercalado, introducimos FIND-Bench, que añade nuevas anotaciones de entrenamiento y evaluación al conjunto de datos COCO para la segmentación y recuperación intercaladas. Nuestro enfoque logra un rendimiento de vanguardia en FIND-Bench y un rendimiento competitivo en configuraciones estándar de recuperación y segmentación. El código de entrenamiento, evaluación y demostración, así como el conjunto de datos, han sido publicados en https://github.com/UX-Decoder/FIND.

English

We present FIND, a generalized interface for aligning foundation models' embeddings. As shown in teaser figure, a lightweight transformer interface without tuning any foundation model weights is enough for a unified image (segmentation) and dataset-level (retrieval) understanding. The proposed interface has the following favorable attributes: (1) Generalizable. It applies to various tasks spanning retrieval, segmentation, etc., under the same architecture and weights. (2) Prototypable. Different tasks are able to be implemented through prototyping attention masks and embedding types. (3) Extendable. The proposed interface is adaptive to new tasks, and new models. (4) Interleavable. With the benefit of multi-task multi-modal training, the proposed interface creates an interleaved shared embedding space. In light of the interleaved embedding space, we introduce the FIND-Bench, which introduces new training and evaluation annotations to the COCO dataset for interleave segmentation and retrieval. Our approach achieves state-of-the-art performance on FIND-Bench and competitive performance on standard retrieval and segmentation settings. The training, evaluation, and demo code as well as the dataset have been released at https://github.com/UX-Decoder/FIND.