Objekterkennung als Vorhersage des nächsten Tokens

Object Recognition as Next Token Prediction

December 4, 2023

Autoren: Kaiyu Yue, Bor-Chun Chen, Jonas Geiping, Hengduo Li, Tom Goldstein, Ser-Nam Lim

cs.AI

Zusammenfassung

Wir stellen einen Ansatz vor, der Objekterkennung als Vorhersage des nächsten Tokens formuliert. Die Idee besteht darin, einen Sprachdecoder anzuwenden, der autoregressiv Texttokens aus Bild-Einbettungen vorhersagt, um Labels zu bilden. Um diesen Vorhersageprozess in der Autoregression zu verankern, passen wir eine nicht-kausale Aufmerksamkeitsmaske für den Decoder an, die zwei Schlüsselmerkmale integriert: die Modellierung von Tokens aus verschiedenen Labels als unabhängig und die Behandlung von Bildtokens als Präfix. Dieser Maskierungsmechanismus inspiriert eine effiziente Methode – das One-Shot-Sampling –, um Tokens mehrerer Labels parallel zu sammeln und die generierten Labels während der Inferenz nach ihren Wahrscheinlichkeiten zu sortieren. Um die Effizienz weiter zu steigern, schlagen wir eine einfache Strategie vor, um einen kompakten Decoder zu konstruieren, indem einfach die Zwischenblöcke eines vortrainierten Sprachmodells verworfen werden. Dieser Ansatz führt zu einem Decoder, der die Leistung des vollständigen Modells erreicht, dabei jedoch deutlich effizienter ist. Der Code ist unter https://github.com/kaiyuyue/nxtp verfügbar.

English

We present an approach to pose object recognition as next token prediction. The idea is to apply a language decoder that auto-regressively predicts the text tokens from image embeddings to form labels. To ground this prediction process in auto-regression, we customize a non-causal attention mask for the decoder, incorporating two key features: modeling tokens from different labels to be independent, and treating image tokens as a prefix. This masking mechanism inspires an efficient method - one-shot sampling - to simultaneously sample tokens of multiple labels in parallel and rank generated labels by their probabilities during inference. To further enhance the efficiency, we propose a simple strategy to construct a compact decoder by simply discarding the intermediate blocks of a pretrained language model. This approach yields a decoder that matches the full model's performance while being notably more efficient. The code is available at https://github.com/kaiyuyue/nxtp