La reconnaissance d'objets comme prédiction du prochain jeton

Résumé

Nous proposons une approche qui consiste à formuler la reconnaissance d'objets comme une prédiction de token suivant. L'idée est d'appliquer un décodeur de langage qui prédit de manière auto-régressive les tokens textuels à partir d'embeddings d'images pour former des étiquettes. Pour ancrer ce processus de prédiction dans l'auto-régression, nous personnalisons un masque d'attention non-causal pour le décodeur, en intégrant deux caractéristiques clés : modéliser les tokens de différentes étiquettes comme étant indépendants, et traiter les tokens d'images comme un préfixe. Ce mécanisme de masquage inspire une méthode efficace - l'échantillonnage en une seule passe - pour échantillonner simultanément les tokens de plusieurs étiquettes en parallèle et classer les étiquettes générées selon leurs probabilités lors de l'inférence. Pour améliorer encore l'efficacité, nous proposons une stratégie simple pour construire un décodeur compact en supprimant simplement les blocs intermédiaires d'un modèle de langage pré-entraîné. Cette approche produit un décodeur qui correspond aux performances du modèle complet tout en étant nettement plus efficace. Le code est disponible à l'adresse https://github.com/kaiyuyue/nxtp.

English

We present an approach to pose object recognition as next token prediction. The idea is to apply a language decoder that auto-regressively predicts the text tokens from image embeddings to form labels. To ground this prediction process in auto-regression, we customize a non-causal attention mask for the decoder, incorporating two key features: modeling tokens from different labels to be independent, and treating image tokens as a prefix. This masking mechanism inspires an efficient method - one-shot sampling - to simultaneously sample tokens of multiple labels in parallel and rank generated labels by their probabilities during inference. To further enhance the efficiency, we propose a simple strategy to construct a compact decoder by simply discarding the intermediate blocks of a pretrained language model. This approach yields a decoder that matches the full model's performance while being notably more efficient. The code is available at https://github.com/kaiyuyue/nxtp

La reconnaissance d'objets comme prédiction du prochain jeton

Object Recognition as Next Token Prediction

Résumé

Support