L'IA générative Acte II : La mise à l'échelle au moment du test pilote l'ingénierie cognitive

Generative AI Act II: Test Time Scaling Drives Cognition Engineering

April 18, 2025

Auteurs: Shijie Xia, Yiwei Qin, Xuefeng Li, Yan Ma, Run-Ze Fan, Steffi Chern, Haoyang Zou, Fan Zhou, Xiangkun Hu, Jiahe Jin, Yanheng He, Yixin Ye, Yixiu Liu, Pengfei Liu

cs.AI

Résumé

La première génération de modèles de langage à grande échelle - que l'on pourrait qualifier d'"Acte I" de l'IA générative (2020-2023) - a obtenu un succès remarquable grâce à une mise à l'échelle massive des paramètres et des données, tout en présentant des limitations fondamentales en termes de latence des connaissances, de raisonnement superficiel et de processus cognitifs contraints. Durant cette ère, l'ingénierie des prompts est apparue comme notre interface principale avec l'IA, permettant une communication au niveau du dialogue via le langage naturel. Nous assistons aujourd'hui à l'émergence de l'"Acte II" (2024-présent), où les modèles passent de systèmes de récupération de connaissances (dans l'espace latent) à des moteurs de construction de pensée grâce à des techniques de mise à l'échelle en temps de test. Ce nouveau paradigme établit une connexion au niveau de l'esprit avec l'IA à travers des pensées basées sur le langage. Dans cet article, nous clarifions les fondements conceptuels de l'ingénierie cognitive et expliquons pourquoi ce moment est crucial pour son développement. Nous décomposons systématiquement ces approches avancées à travers des tutoriels complets et des implémentations optimisées, démocratisant l'accès à l'ingénierie cognitive et permettant à chaque praticien de participer au second acte de l'IA. Nous fournissons une collection régulièrement mise à jour d'articles sur la mise à l'échelle en temps de test dans le dépôt GitHub : https://github.com/GAIR-NLP/cognition-engineering.

English

The first generation of Large Language Models - what might be called "Act I" of generative AI (2020-2023) - achieved remarkable success through massive parameter and data scaling, yet exhibited fundamental limitations in knowledge latency, shallow reasoning, and constrained cognitive processes. During this era, prompt engineering emerged as our primary interface with AI, enabling dialogue-level communication through natural language. We now witness the emergence of "Act II" (2024-present), where models are transitioning from knowledge-retrieval systems (in latent space) to thought-construction engines through test-time scaling techniques. This new paradigm establishes a mind-level connection with AI through language-based thoughts. In this paper, we clarify the conceptual foundations of cognition engineering and explain why this moment is critical for its development. We systematically break down these advanced approaches through comprehensive tutorials and optimized implementations, democratizing access to cognition engineering and enabling every practitioner to participate in AI's second act. We provide a regularly updated collection of papers on test-time scaling in the GitHub Repository: https://github.com/GAIR-NLP/cognition-engineering