Interfaçage des embeddings des modèles de fondation

Interfacing Foundation Models' Embeddings

December 12, 2023

Auteurs: Xueyan Zou, Linjie Li, Jianfeng Wang, Jianwei Yang, Mingyu Ding, Zhengyuan Yang, Feng Li, Hao Zhang, Shilong Liu, Arul Aravinthan, Yong Jae Lee, Lijuan Wang

cs.AI

Résumé

Nous présentons FIND, une interface généralisée pour l'alignement des embeddings de modèles de fondation. Comme illustré dans la figure d'introduction, une interface légère basée sur un transformateur, sans ajustement des poids du modèle de fondation, suffit pour une compréhension unifiée au niveau de l'image (segmentation) et du dataset (recherche). L'interface proposée possède les attributs favorables suivants : (1) Généralisable. Elle s'applique à diverses tâches telles que la recherche, la segmentation, etc., sous la même architecture et avec les mêmes poids. (2) Prototypable. Différentes tâches peuvent être implémentées via la création de masques d'attention et de types d'embeddings. (3) Extensible. L'interface proposée est adaptable à de nouvelles tâches et à de nouveaux modèles. (4) Entrelaçable. Grâce à l'entraînement multi-tâches et multi-modales, l'interface proposée crée un espace d'embeddings partagé et entrelacé. En lien avec cet espace d'embeddings entrelacé, nous introduisons FIND-Bench, qui ajoute de nouvelles annotations d'entraînement et d'évaluation au dataset COCO pour la segmentation et la recherche entrelacées. Notre approche atteint des performances de pointe sur FIND-Bench et des performances compétitives dans les configurations standard de recherche et de segmentation. Le code d'entraînement, d'évaluation et de démonstration, ainsi que le dataset, ont été publiés à l'adresse https://github.com/UX-Decoder/FIND.

English

We present FIND, a generalized interface for aligning foundation models' embeddings. As shown in teaser figure, a lightweight transformer interface without tuning any foundation model weights is enough for a unified image (segmentation) and dataset-level (retrieval) understanding. The proposed interface has the following favorable attributes: (1) Generalizable. It applies to various tasks spanning retrieval, segmentation, etc., under the same architecture and weights. (2) Prototypable. Different tasks are able to be implemented through prototyping attention masks and embedding types. (3) Extendable. The proposed interface is adaptive to new tasks, and new models. (4) Interleavable. With the benefit of multi-task multi-modal training, the proposed interface creates an interleaved shared embedding space. In light of the interleaved embedding space, we introduce the FIND-Bench, which introduces new training and evaluation annotations to the COCO dataset for interleave segmentation and retrieval. Our approach achieves state-of-the-art performance on FIND-Bench and competitive performance on standard retrieval and segmentation settings. The training, evaluation, and demo code as well as the dataset have been released at https://github.com/UX-Decoder/FIND.