Generatieve AI Act II: Schaalbaarheid tijdens testen drijft cognitieve engineering aan

Generative AI Act II: Test Time Scaling Drives Cognition Engineering

April 18, 2025

Auteurs: Shijie Xia, Yiwei Qin, Xuefeng Li, Yan Ma, Run-Ze Fan, Steffi Chern, Haoyang Zou, Fan Zhou, Xiangkun Hu, Jiahe Jin, Yanheng He, Yixin Ye, Yixiu Liu, Pengfei Liu

cs.AI

Samenvatting

De eerste generatie van Large Language Models - wat we zouden kunnen noemen "Act I" van generatieve AI (2020-2023) - behaalde opmerkelijke successen door enorme schaalvergroting van parameters en data, maar vertoonde fundamentele beperkingen op het gebied van kennislatentie, oppervlakkig redeneren en beperkte cognitieve processen. In deze periode ontstond prompt engineering als onze primaire interface met AI, waardoor dialoogniveau-communicatie via natuurlijke taal mogelijk werd. We zien nu de opkomst van "Act II" (2024-heden), waarbij modellen in transitie zijn van kennisretrievalsystemen (in latente ruimte) naar denkconstructiemotoren door middel van test-time scaling-technieken. Dit nieuwe paradigma creëert een denkniveau-verbinding met AI via taalgebaseerde gedachten. In dit artikel verhelderen we de conceptuele fundamenten van cognitie-engineering en leggen we uit waarom dit moment cruciaal is voor de ontwikkeling ervan. We breken deze geavanceerde benaderingen systematisch uiteen door middel van uitgebreide tutorials en geoptimaliseerde implementaties, waardoor toegang tot cognitie-engineering wordt gedemocratiseerd en elke beoefenaar kan deelnemen aan de tweede act van AI. We bieden een regelmatig bijgewerkte verzameling papers over test-time scaling in de GitHub Repository: https://github.com/GAIR-NLP/cognition-engineering.

English

The first generation of Large Language Models - what might be called "Act I" of generative AI (2020-2023) - achieved remarkable success through massive parameter and data scaling, yet exhibited fundamental limitations in knowledge latency, shallow reasoning, and constrained cognitive processes. During this era, prompt engineering emerged as our primary interface with AI, enabling dialogue-level communication through natural language. We now witness the emergence of "Act II" (2024-present), where models are transitioning from knowledge-retrieval systems (in latent space) to thought-construction engines through test-time scaling techniques. This new paradigm establishes a mind-level connection with AI through language-based thoughts. In this paper, we clarify the conceptual foundations of cognition engineering and explain why this moment is critical for its development. We systematically break down these advanced approaches through comprehensive tutorials and optimized implementations, democratizing access to cognition engineering and enabling every practitioner to participate in AI's second act. We provide a regularly updated collection of papers on test-time scaling in the GitHub Repository: https://github.com/GAIR-NLP/cognition-engineering