Генеративный ИИ, Акт II: Масштабирование во время тестирования как движущая сила инженерии познания

Generative AI Act II: Test Time Scaling Drives Cognition Engineering

April 18, 2025

Авторы: Shijie Xia, Yiwei Qin, Xuefeng Li, Yan Ma, Run-Ze Fan, Steffi Chern, Haoyang Zou, Fan Zhou, Xiangkun Hu, Jiahe Jin, Yanheng He, Yixin Ye, Yixiu Liu, Pengfei Liu

cs.AI

Аннотация

Первое поколение крупных языковых моделей — то, что можно назвать «Актом I» генеративного ИИ (2020–2023) — достигло впечатляющих успехов благодаря масштабированию параметров и данных, однако продемонстрировало фундаментальные ограничения в виде задержки обновления знаний, поверхностного мышления и ограниченных когнитивных процессов. В эту эпоху инженерия промптов стала основным интерфейсом взаимодействия с ИИ, позволяя вести диалог на уровне естественного языка. Сегодня мы наблюдаем зарождение «Акта II» (2024–настоящее время), где модели переходят от систем извлечения знаний (в латентном пространстве) к механизмам конструирования мыслей благодаря техникам масштабирования во время тестирования. Эта новая парадигма устанавливает связь на уровне мышления с ИИ через языковые мысли. В данной статье мы проясняем концептуальные основы когнитивной инженерии и объясняем, почему данный момент является критически важным для её развития. Мы систематически разбираем эти передовые подходы через подробные руководства и оптимизированные реализации, делая когнитивную инженерию доступной для всех и позволяя каждому специалисту участвовать во втором акте ИИ. Мы предоставляем регулярно обновляемую коллекцию статей по масштабированию во время тестирования в репозитории GitHub: https://github.com/GAIR-NLP/cognition-engineering.

English

The first generation of Large Language Models - what might be called "Act I" of generative AI (2020-2023) - achieved remarkable success through massive parameter and data scaling, yet exhibited fundamental limitations in knowledge latency, shallow reasoning, and constrained cognitive processes. During this era, prompt engineering emerged as our primary interface with AI, enabling dialogue-level communication through natural language. We now witness the emergence of "Act II" (2024-present), where models are transitioning from knowledge-retrieval systems (in latent space) to thought-construction engines through test-time scaling techniques. This new paradigm establishes a mind-level connection with AI through language-based thoughts. In this paper, we clarify the conceptual foundations of cognition engineering and explain why this moment is critical for its development. We systematically break down these advanced approaches through comprehensive tutorials and optimized implementations, democratizing access to cognition engineering and enabling every practitioner to participate in AI's second act. We provide a regularly updated collection of papers on test-time scaling in the GitHub Repository: https://github.com/GAIR-NLP/cognition-engineering