Jetez les dés et regardez avant de sauter : Dépasser les limites créatives de la prédiction de token suivant

Roll the dice & look before you leap: Going beyond the creative limits of next-token prediction

April 21, 2025

Auteurs: Vaishnavh Nagarajan, Chen Henry Wu, Charles Ding, Aditi Raghunathan

cs.AI

Résumé

Nous concevons une suite de tâches algorithmiques minimalistes qui constituent une abstraction approximative de tâches réelles ouvertes. Cela nous permet de quantifier de manière claire et contrôlée les limites créatives des modèles de langage actuels. Tout comme les tâches réelles qui nécessitent un saut de pensée créatif et visionnaire, nos tâches requièrent une étape de planification stochastique implicite et ouverte qui soit (a) découvre de nouvelles connexions dans un graphe de connaissances abstrait (comme dans les jeux de mots, les analogies ou la recherche), soit (b) construit de nouveaux motifs (comme dans la conception de problèmes mathématiques ou de nouvelles protéines). Dans ces tâches, nous argumentons empiriquement et conceptuellement que l'apprentissage par prédiction du prochain token est myope et mémorise excessivement ; en comparaison, les approches multi-tokens, notamment l'entraînement sans enseignant et les modèles de diffusion, excellent à produire des sorties diversifiées et originales. Deuxièmement, dans nos tâches, nous constatons que pour susciter de l'aléatoire dans le Transformer sans nuire à la cohérence, il est préférable d'injecter du bruit directement au niveau de la couche d'entrée (via une méthode que nous appelons "hash-conditioning") plutôt que de recourir à l'échantillonnage par température à partir de la couche de sortie. Ainsi, notre travail propose un banc d'essai minimal et méthodique pour analyser les compétences créatives ouvertes, et offre de nouveaux arguments pour aller au-delà de l'apprentissage par prédiction du prochain token et de l'échantillonnage basé sur softmax. Nous mettons une partie du code à disposition sur https://github.com/chenwu98/algorithmic-creativity.

English

We design a suite of minimal algorithmic tasks that are a loose abstraction of open-ended real-world tasks. This allows us to cleanly and controllably quantify the creative limits of the present-day language model. Much like real-world tasks that require a creative, far-sighted leap of thought, our tasks require an implicit, open-ended stochastic planning step that either (a) discovers new connections in an abstract knowledge graph (like in wordplay, drawing analogies, or research) or (b) constructs new patterns (like in designing math problems or new proteins). In these tasks, we empirically and conceptually argue how next-token learning is myopic and memorizes excessively; comparatively, multi-token approaches, namely teacherless training and diffusion models, excel in producing diverse and original output. Secondly, in our tasks, we find that to elicit randomness from the Transformer without hurting coherence, it is better to inject noise right at the input layer (via a method we dub hash-conditioning) rather than defer to temperature sampling from the output layer. Thus, our work offers a principled, minimal test-bed for analyzing open-ended creative skills, and offers new arguments for going beyond next-token learning and softmax-based sampling. We make part of the code available under https://github.com/chenwu98/algorithmic-creativity