Große Sprachmodelle als universelle Mustererkennungsmaschinen

Large Language Models as General Pattern Machines

July 10, 2023

Autoren: Suvir Mirchandani, Fei Xia, Pete Florence, Brian Ichter, Danny Driess, Montserrat Gonzalez Arenas, Kanishka Rao, Dorsa Sadigh, Andy Zeng

cs.AI

Zusammenfassung

Wir beobachten, dass vortrainierte große Sprachmodelle (LLMs) in der Lage sind, komplexe Token-Sequenzen autoregressiv zu vervollständigen – von beliebigen Sequenzen, die prozedural durch probabilistische kontextfreie Grammatiken (PCFG) generiert werden, bis hin zu reichhaltigeren räumlichen Mustern, wie sie im Abstract Reasoning Corpus (ARC), einem allgemeinen KI-Benchmark, im Stil von ASCII-Art dargestellt werden. Überraschenderweise bleibt die Fähigkeit zur Mustervervollständigung teilweise erhalten, selbst wenn die Sequenzen mit zufällig aus dem Vokabular ausgewählten Token ausgedrückt werden. Diese Ergebnisse deuten darauf hin, dass LLMs ohne zusätzliches Training als allgemeine Sequenzmodellierer fungieren können, angetrieben durch In-Context-Lernen. In dieser Arbeit untersuchen wir, wie diese Zero-Shot-Fähigkeiten auf Probleme in der Robotik angewendet werden können – von der Extrapolation von Zahlenfolgen, die Zustände über die Zeit repräsentieren, um einfache Bewegungen zu vervollständigen, bis hin zum Least-to-Most-Prompting von belohnungsbedingten Trajektorien, die geschlossene Regelkreise (z. B. einen stabilisierenden Controller für CartPole) entdecken und darstellen können. Obwohl der Einsatz für reale Systeme heute aufgrund von Latenz, Kontextgrößenbeschränkungen und Rechenkosten schwierig ist, könnte der Ansatz, LLMs zur Steuerung von Low-Level-Kontrolle zu nutzen, einen spannenden Einblick bieten, wie Muster unter Wörtern auf Aktionen übertragen werden könnten.

English

We observe that pre-trained large language models (LLMs) are capable of autoregressively completing complex token sequences -- from arbitrary ones procedurally generated by probabilistic context-free grammars (PCFG), to more rich spatial patterns found in the Abstract Reasoning Corpus (ARC), a general AI benchmark, prompted in the style of ASCII art. Surprisingly, pattern completion proficiency can be partially retained even when the sequences are expressed using tokens randomly sampled from the vocabulary. These results suggest that without any additional training, LLMs can serve as general sequence modelers, driven by in-context learning. In this work, we investigate how these zero-shot capabilities may be applied to problems in robotics -- from extrapolating sequences of numbers that represent states over time to complete simple motions, to least-to-most prompting of reward-conditioned trajectories that can discover and represent closed-loop policies (e.g., a stabilizing controller for CartPole). While difficult to deploy today for real systems due to latency, context size limitations, and compute costs, the approach of using LLMs to drive low-level control may provide an exciting glimpse into how the patterns among words could be transferred to actions.