Schnittstelle für Embeddings von Foundation Models

Interfacing Foundation Models' Embeddings

December 12, 2023

Autoren: Xueyan Zou, Linjie Li, Jianfeng Wang, Jianwei Yang, Mingyu Ding, Zhengyuan Yang, Feng Li, Hao Zhang, Shilong Liu, Arul Aravinthan, Yong Jae Lee, Lijuan Wang

cs.AI

Zusammenfassung

Wir stellen FIND vor, eine generalisierte Schnittstelle zur Ausrichtung von Embeddings von Foundation-Modellen. Wie in der Teaser-Abbildung gezeigt, reicht ein leichtgewichtiges Transformer-Interface, ohne die Gewichte eines Foundation-Modells anzupassen, für ein einheitliches Verständnis auf Bild- (Segmentierung) und Datensatzebene (Retrieval) aus. Die vorgeschlagene Schnittstelle weist folgende vorteilhafte Eigenschaften auf: (1) Generalisierbar. Sie ist auf verschiedene Aufgaben wie Retrieval, Segmentierung usw. unter derselben Architektur und denselben Gewichten anwendbar. (2) Prototypisierbar. Verschiedene Aufgaben können durch das Prototyping von Aufmerksamkeitsmasken und Embedding-Typen implementiert werden. (3) Erweiterbar. Die vorgeschlagene Schnittstelle ist anpassungsfähig für neue Aufgaben und neue Modelle. (4) Verflechtbar. Mit dem Vorteil des Multi-Task-Multi-Modal-Trainings schafft die vorgeschlagene Schnittstelle einen verflochtenen gemeinsamen Embedding-Raum. Im Hinblick auf den verflochtenen Embedding-Raum führen wir das FIND-Bench ein, das neue Trainings- und Evaluierungsanmerkungen zum COCO-Datensatz für die verflochtene Segmentierung und das Retrieval hinzufügt. Unser Ansatz erreicht state-of-the-art Leistung auf FIND-Bench und wettbewerbsfähige Leistung in standardmäßigen Retrieval- und Segmentierungsszenarien. Der Trainings-, Evaluierungs- und Demo-Code sowie der Datensatz wurden unter https://github.com/UX-Decoder/FIND veröffentlicht.

English

We present FIND, a generalized interface for aligning foundation models' embeddings. As shown in teaser figure, a lightweight transformer interface without tuning any foundation model weights is enough for a unified image (segmentation) and dataset-level (retrieval) understanding. The proposed interface has the following favorable attributes: (1) Generalizable. It applies to various tasks spanning retrieval, segmentation, etc., under the same architecture and weights. (2) Prototypable. Different tasks are able to be implemented through prototyping attention masks and embedding types. (3) Extendable. The proposed interface is adaptive to new tasks, and new models. (4) Interleavable. With the benefit of multi-task multi-modal training, the proposed interface creates an interleaved shared embedding space. In light of the interleaved embedding space, we introduce the FIND-Bench, which introduces new training and evaluation annotations to the COCO dataset for interleave segmentation and retrieval. Our approach achieves state-of-the-art performance on FIND-Bench and competitive performance on standard retrieval and segmentation settings. The training, evaluation, and demo code as well as the dataset have been released at https://github.com/UX-Decoder/FIND.