생성형 AI 제2막: 테스트 시간 스케일링이 인지 엔지니어링을 주도한다

Generative AI Act II: Test Time Scaling Drives Cognition Engineering

April 18, 2025

저자: Shijie Xia, Yiwei Qin, Xuefeng Li, Yan Ma, Run-Ze Fan, Steffi Chern, Haoyang Zou, Fan Zhou, Xiangkun Hu, Jiahe Jin, Yanheng He, Yixin Ye, Yixiu Liu, Pengfei Liu

cs.AI

초록

대형 언어 모델의 첫 번째 세대, 즉 생성형 AI의 '1막'(2020-2023)은 방대한 파라미터와 데이터 스케일링을 통해 놀라운 성과를 거두었지만, 지식 지연, 피상적 추론, 제한된 인지 과정 등 근본적인 한계를 보여주었습니다. 이 시기에는 프롬프트 엔지니어링이 AI와의 주요 인터페이스로 부상하며 자연어를 통한 대화 수준의 소통이 가능해졌습니다. 이제 우리는 '2막'(2024-현재)의 등장을 목격하고 있습니다. 이 단계에서 모델들은 잠재 공간 내의 지식 검색 시스템에서 테스트 타임 스케일링 기법을 통한 사고 구성 엔진으로 전환하고 있습니다. 이 새로운 패러다임은 언어 기반 사고를 통해 AI와 마음 수준의 연결을 구축합니다. 본 논문에서는 인지 엔지니어링의 개념적 기반을 명확히 하고, 이 순간이 그 발전에 있어 왜 중요한지를 설명합니다. 또한, 포괄적인 튜토리얼과 최적화된 구현을 통해 이러한 고급 접근법을 체계적으로 분해함으로써 인지 엔지니어링에 대한 접근을 민주화하고 모든 실무자가 AI의 두 번째 막에 참여할 수 있도록 합니다. 테스트 타임 스케일링에 관한 논문 컬렉션을 GitHub 저장소에서 정기적으로 업데이트하고 있습니다: https://github.com/GAIR-NLP/cognition-engineering

English

The first generation of Large Language Models - what might be called "Act I" of generative AI (2020-2023) - achieved remarkable success through massive parameter and data scaling, yet exhibited fundamental limitations in knowledge latency, shallow reasoning, and constrained cognitive processes. During this era, prompt engineering emerged as our primary interface with AI, enabling dialogue-level communication through natural language. We now witness the emergence of "Act II" (2024-present), where models are transitioning from knowledge-retrieval systems (in latent space) to thought-construction engines through test-time scaling techniques. This new paradigm establishes a mind-level connection with AI through language-based thoughts. In this paper, we clarify the conceptual foundations of cognition engineering and explain why this moment is critical for its development. We systematically break down these advanced approaches through comprehensive tutorials and optimized implementations, democratizing access to cognition engineering and enabling every practitioner to participate in AI's second act. We provide a regularly updated collection of papers on test-time scaling in the GitHub Repository: https://github.com/GAIR-NLP/cognition-engineering