Lancia i dadi e guarda prima di saltare: Andare oltre i limiti creativi della previsione del token successivo

Roll the dice & look before you leap: Going beyond the creative limits of next-token prediction

April 21, 2025

Autori: Vaishnavh Nagarajan, Chen Henry Wu, Charles Ding, Aditi Raghunathan

cs.AI

Abstract

Progettiamo una suite di compiti algoritmici minimali che rappresentano un'astrazione approssimativa di attività reali aperte. Ciò ci permette di quantificare in modo chiaro e controllabile i limiti creativi degli attuali modelli linguistici. Similmente a compiti reali che richiedono un salto di pensiero creativo e lungimirante, i nostri compiti necessitano di un passaggio implicito e aperto di pianificazione stocastica che (a) scopre nuove connessioni in un grafo di conoscenza astratto (come nel gioco di parole, nel tracciare analogie o nella ricerca) o (b) costruisce nuovi schemi (come nel progettare problemi matematici o nuove proteine). In questi compiti, sosteniamo empiricamente e concettualmente come l'apprendimento basato sul token successivo sia miope e memorizzi eccessivamente; al contrario, approcci multi-token, in particolare l'addestramento senza insegnante e i modelli di diffusione, eccellono nel produrre output diversificato e originale. In secondo luogo, nei nostri compiti, scopriamo che per elicitare casualità dal Transformer senza compromettere la coerenza, è preferibile iniettare rumore direttamente a livello di input (attraverso un metodo che chiamiamo hash-conditioning) piuttosto che affidarsi al campionamento basato sulla temperatura a livello di output. Pertanto, il nostro lavoro offre un banco di prova minimo e principiato per analizzare le abilità creative aperte e fornisce nuovi argomenti per andare oltre l'apprendimento basato sul token successivo e il campionamento basato su softmax. Rendiamo disponibile parte del codice su https://github.com/chenwu98/algorithmic-creativity.

English

We design a suite of minimal algorithmic tasks that are a loose abstraction of open-ended real-world tasks. This allows us to cleanly and controllably quantify the creative limits of the present-day language model. Much like real-world tasks that require a creative, far-sighted leap of thought, our tasks require an implicit, open-ended stochastic planning step that either (a) discovers new connections in an abstract knowledge graph (like in wordplay, drawing analogies, or research) or (b) constructs new patterns (like in designing math problems or new proteins). In these tasks, we empirically and conceptually argue how next-token learning is myopic and memorizes excessively; comparatively, multi-token approaches, namely teacherless training and diffusion models, excel in producing diverse and original output. Secondly, in our tasks, we find that to elicit randomness from the Transformer without hurting coherence, it is better to inject noise right at the input layer (via a method we dub hash-conditioning) rather than defer to temperature sampling from the output layer. Thus, our work offers a principled, minimal test-bed for analyzing open-ended creative skills, and offers new arguments for going beyond next-token learning and softmax-based sampling. We make part of the code available under https://github.com/chenwu98/algorithmic-creativity