Objectherkenning als volgende tokenvoorspelling

Object Recognition as Next Token Prediction

December 4, 2023

Auteurs: Kaiyu Yue, Bor-Chun Chen, Jonas Geiping, Hengduo Li, Tom Goldstein, Ser-Nam Lim

cs.AI

Samenvatting

We presenteren een benadering om objectherkenning te formuleren als voorspelling van de volgende token. Het idee is om een taaldecodeur toe te passen die auto-regressief teksttokens voorspelt op basis van beeldembeddingen om labels te vormen. Om dit voorspellingsproces te verankeren in auto-regressie, passen we een niet-causaal aandachtmasker aan voor de decodeur, waarbij twee belangrijke kenmerken worden geïntegreerd: het modelleren van tokens van verschillende labels als onafhankelijk, en het behandelen van beeldtokens als een prefix. Dit maskeringsmechanisme inspireert een efficiënte methode - one-shot sampling - om tokens van meerdere labels parallel te bemonsteren en gegenereerde labels te rangschikken op basis van hun waarschijnlijkheid tijdens inferentie. Om de efficiëntie verder te verbeteren, stellen we een eenvoudige strategie voor om een compacte decodeur te construeren door simpelweg de tussenliggende blokken van een voorgetraind taalmodel te verwijderen. Deze benadering resulteert in een decodeur die de prestaties van het volledige model evenaart, terwijl deze aanzienlijk efficiënter is. De code is beschikbaar op https://github.com/kaiyuyue/nxtp.

English

We present an approach to pose object recognition as next token prediction. The idea is to apply a language decoder that auto-regressively predicts the text tokens from image embeddings to form labels. To ground this prediction process in auto-regression, we customize a non-causal attention mask for the decoder, incorporating two key features: modeling tokens from different labels to be independent, and treating image tokens as a prefix. This masking mechanism inspires an efficient method - one-shot sampling - to simultaneously sample tokens of multiple labels in parallel and rank generated labels by their probabilities during inference. To further enhance the efficiency, we propose a simple strategy to construct a compact decoder by simply discarding the intermediate blocks of a pretrained language model. This approach yields a decoder that matches the full model's performance while being notably more efficient. The code is available at https://github.com/kaiyuyue/nxtp