Reconocimiento de Objetos como Predicción del Siguiente Token

Object Recognition as Next Token Prediction

December 4, 2023

Autores: Kaiyu Yue, Bor-Chun Chen, Jonas Geiping, Hengduo Li, Tom Goldstein, Ser-Nam Lim

cs.AI

Resumen

Presentamos un enfoque para plantear el reconocimiento de objetos como la predicción del siguiente token. La idea es aplicar un decodificador de lenguaje que predice de manera autorregresiva los tokens de texto a partir de incrustaciones de imágenes para formar etiquetas. Para fundamentar este proceso de predicción en la autorregresión, personalizamos una máscara de atención no causal para el decodificador, incorporando dos características clave: modelar los tokens de diferentes etiquetas como independientes y tratar los tokens de imagen como un prefijo. Este mecanismo de enmascaramiento inspira un método eficiente: el muestreo en una sola pasada (one-shot sampling), que permite muestrear simultáneamente los tokens de múltiples etiquetas en paralelo y clasificar las etiquetas generadas por sus probabilidades durante la inferencia. Para mejorar aún más la eficiencia, proponemos una estrategia simple para construir un decodificador compacto descartando simplemente los bloques intermedios de un modelo de lenguaje preentrenado. Este enfoque produce un decodificador que iguala el rendimiento del modelo completo mientras es notablemente más eficiente. El código está disponible en https://github.com/kaiyuyue/nxtp.

English

We present an approach to pose object recognition as next token prediction. The idea is to apply a language decoder that auto-regressively predicts the text tokens from image embeddings to form labels. To ground this prediction process in auto-regression, we customize a non-causal attention mask for the decoder, incorporating two key features: modeling tokens from different labels to be independent, and treating image tokens as a prefix. This masking mechanism inspires an efficient method - one-shot sampling - to simultaneously sample tokens of multiple labels in parallel and rank generated labels by their probabilities during inference. To further enhance the efficiency, we propose a simple strategy to construct a compact decoder by simply discarding the intermediate blocks of a pretrained language model. This approach yields a decoder that matches the full model's performance while being notably more efficient. The code is available at https://github.com/kaiyuyue/nxtp