(1D) Les jetons ordonnés permettent une recherche efficace au moment du test

Résumé

La tokenisation est un composant clé des modèles génératifs autorégressifs (AR), convertissant les données brutes en unités plus gérables pour la modélisation. Typiquement, les tokens décrivent des informations locales, telles que des régions de pixels dans les images ou des segments de mots dans le texte, et la génération AR prédit ces tokens dans un ordre fixe. Une question pertinente est de savoir si les structures de tokens affectent la capacité à orienter la génération via une recherche au moment du test, où plusieurs générations candidates sont explorées et évaluées par un vérificateur. En utilisant la génération d'images comme banc d'essai, nous émettons l'hypothèse que les tokeniseurs ordonnés 1D récents, avec une structure allant du grossier au fin, peuvent être plus propices à la recherche que les structures classiques en grille 2D. Cela s'enracine dans le fait que les états intermédiaires des séquences grossières-à-fines portent une signification sémantique que les vérificateurs peuvent évaluer de manière fiable, permettant un pilotage efficace pendant la génération. À travers des expériences contrôlées, nous constatons que les modèles AR entraînés sur des tokens ordonnés grossiers-à-fins présentent un comportement d'échelle amélioré au moment du test par rapport à leurs homologues basés sur une grille. De plus, nous démontrons que, grâce à la structure ordonnée, une recherche pure au moment du test sur les séquences de tokens (c'est-à-dire sans entraîner un modèle AR) peut réaliser une génération texte-à-image sans entraînement lorsqu'elle est guidée par un vérificateur image-texte. Au-delà de cela, nous étudions systématiquement comment les algorithmes de recherche classiques (meilleur-de-N, recherche en faisceau, recherche avec anticipation) interagissent avec différentes structures de tokens, ainsi que le rôle des différents vérificateurs et a priori AR. Nos résultats soulignent l'impact de la structure des tokens sur l'évolutivité au moment de l'inférence et fournissent des conseils pratiques pour la mise à l'échelle au moment du test dans les modèles AR.

English

Tokenization is a key component of autoregressive (AR) generative models, converting raw data into more manageable units for modeling. Commonly, tokens describe local information, such as regions of pixels in images or word pieces in text, and AR generation predicts these tokens in a fixed order. A worthwhile question is whether token structures affect the ability to steer the generation through test-time search, where multiple candidate generations are explored and evaluated by a verifier. Using image generation as our testbed, we hypothesize that recent 1D ordered tokenizers with coarse-to-fine structure can be more amenable to search than classical 2D grid structures. This is rooted in the fact that the intermediate states in coarse-to-fine sequences carry semantic meaning that verifiers can reliably evaluate, enabling effective steering during generation. Through controlled experiments, we find that AR models trained on coarse-to-fine ordered tokens exhibit improved test-time scaling behavior compared to grid-based counterparts. Moreover, we demonstrate that, thanks to the ordered structure, pure test-time search over token sequences (i.e., without training an AR model) can perform training-free text-to-image generation when guided by an image-text verifier. Beyond this, we systematically study how classical search algorithms (best-of-N, beam search, lookahead search) interact with different token structures, as well as the role of different verifiers and AR priors. Our results highlight the impact of token structure on inference-time scalability and provide practical guidance for test-time scaling in AR models.