Interfacing van Embeddings van Foundation Models

Interfacing Foundation Models' Embeddings

December 12, 2023

Auteurs: Xueyan Zou, Linjie Li, Jianfeng Wang, Jianwei Yang, Mingyu Ding, Zhengyuan Yang, Feng Li, Hao Zhang, Shilong Liu, Arul Aravinthan, Yong Jae Lee, Lijuan Wang

cs.AI

Samenvatting

We presenteren FIND, een gegeneraliseerde interface voor het uitlijnen van embeddings van foundation modellen. Zoals getoond in de teaser-afbeelding, is een lichtgewicht transformer-interface zonder het afstemmen van foundation model-gewichten voldoende voor een geïntegreerd beeld (segmentatie) en datasetniveau (retrieval) begrip. De voorgestelde interface heeft de volgende gunstige eigenschappen: (1) Generaliseerbaar. Het is toepasbaar op verschillende taken zoals retrieval, segmentatie, etc., onder dezelfde architectuur en gewichten. (2) Prototypeerbaar. Verschillende taken kunnen worden geïmplementeerd door het prototypen van aandachtmaskers en embeddingtypes. (3) Uitbreidbaar. De voorgestelde interface is aanpasbaar aan nieuwe taken en nieuwe modellen. (4) Verweven. Met het voordeel van multi-task multi-modale training, creëert de voorgestelde interface een verweven gedeelde embeddingruimte. In het licht van de verweven embeddingruimte introduceren we de FIND-Bench, die nieuwe trainings- en evaluatieannotaties toevoegt aan de COCO-dataset voor verweven segmentatie en retrieval. Onze aanpak behaalt state-of-the-art prestaties op FIND-Bench en competitieve prestaties op standaard retrieval- en segmentatie-instellingen. De trainings-, evaluatie- en democode, evenals de dataset, zijn vrijgegeven op https://github.com/UX-Decoder/FIND.

English

We present FIND, a generalized interface for aligning foundation models' embeddings. As shown in teaser figure, a lightweight transformer interface without tuning any foundation model weights is enough for a unified image (segmentation) and dataset-level (retrieval) understanding. The proposed interface has the following favorable attributes: (1) Generalizable. It applies to various tasks spanning retrieval, segmentation, etc., under the same architecture and weights. (2) Prototypable. Different tasks are able to be implemented through prototyping attention masks and embedding types. (3) Extendable. The proposed interface is adaptive to new tasks, and new models. (4) Interleavable. With the benefit of multi-task multi-modal training, the proposed interface creates an interleaved shared embedding space. In light of the interleaved embedding space, we introduce the FIND-Bench, which introduces new training and evaluation annotations to the COCO dataset for interleave segmentation and retrieval. Our approach achieves state-of-the-art performance on FIND-Bench and competitive performance on standard retrieval and segmentation settings. The training, evaluation, and demo code as well as the dataset have been released at https://github.com/UX-Decoder/FIND.