Распознавание объектов как предсказание следующего токена

Object Recognition as Next Token Prediction

December 4, 2023

Авторы: Kaiyu Yue, Bor-Chun Chen, Jonas Geiping, Hengduo Li, Tom Goldstein, Ser-Nam Lim

cs.AI

Аннотация

Мы представляем подход, который формулирует задачу распознавания объектов как предсказание следующего токена. Идея заключается в применении языкового декодера, который авторегрессивно предсказывает текстовые токены на основе эмбеддингов изображений для формирования меток. Чтобы обосновать этот процесс предсказания в рамках авторегрессии, мы настраиваем некаузальную маску внимания для декодера, включая две ключевые особенности: моделирование токенов из разных меток как независимых и рассмотрение токенов изображения как префикса. Этот механизм маскирования вдохновляет эффективный метод — однократное сэмплирование — для одновременного параллельного сэмплирования токенов нескольких меток и ранжирования сгенерированных меток по их вероятностям на этапе вывода. Для дальнейшего повышения эффективности мы предлагаем простую стратегию построения компактного декодера путем простого удаления промежуточных блоков предобученной языковой модели. Этот подход позволяет получить декодер, который соответствует производительности полной модели, но при этом значительно более эффективен. Код доступен по адресу https://github.com/kaiyuyue/nxtp.

English

We present an approach to pose object recognition as next token prediction. The idea is to apply a language decoder that auto-regressively predicts the text tokens from image embeddings to form labels. To ground this prediction process in auto-regression, we customize a non-causal attention mask for the decoder, incorporating two key features: modeling tokens from different labels to be independent, and treating image tokens as a prefix. This masking mechanism inspires an efficient method - one-shot sampling - to simultaneously sample tokens of multiple labels in parallel and rank generated labels by their probabilities during inference. To further enhance the efficiency, we propose a simple strategy to construct a compact decoder by simply discarding the intermediate blocks of a pretrained language model. This approach yields a decoder that matches the full model's performance while being notably more efficient. The code is available at https://github.com/kaiyuyue/nxtp