Aspire: 모델이 모호한 목표로부터 자가 진화할 수 있는가?

Aspire: Can Models Self-Evolve from Vague Goals?

August 31, 2026

저자: Yuhao Wu, Jingyuan Zhang, Jiajun Shi, Yuxuan Zhang, Xinping Lei, Junting Zhou, Zexuan Wang, Yuchen Wu, Huan Zhou, Duo Wang, Yinzhu Piao, Yongchang Peng, Yunfeng Shi, Jin Chen, Zuo Wang, Jinkai Liu, Jiaheng Liu, Wenxuan Zhang, Shen Yan, Wenhao Huang, Ge Zhang

cs.AI

초록

인간 학습의 중요한 여러 형태는 ‘더 나은 물리학자가 되기’나 ‘연구 능력 향상’ 같은 모호한 목표에서 시작된다. 학습자는 그 목표를 해석하고, 능력 격차를 파악하며, 학습 방법을 결정하고, 실제로 향상되었는지 판단해야 한다. 이와 달리, 기존의 LLM 자기 진화(self-evolution) 연구는 대개 인간이 명시한 과제와 평가 지표에서 출발한다. 그 결과 자기 진화는 무엇을 어떻게 배울지 결정하는 문제가 아니라 명시적인 목표를 최적화하는 문제로 축소된다. 우리는 모호한 목표 기반 자기 진화를 위한 벤치마크인 ASPIRE를 소개한다. ASPIRE는 자연어로 표현된 능력 목표만 제공하며, 다운스트림 평가 과제는 공개되지 않은 채로 남는다. 에이전트는 데이터와 업데이트 방법을 선택하고, 학습 및 검증 신호를 구성하며, 언제 평가할지를 결정함으로써 목표를 구체화해야 한다. ASPIRE는 통합된 상호작용 환경에서 모델 가중치 진화와 에이전트 하네스(agent harness) 진화를 모두 지원하며, 결과적으로 생성된 시스템을 여섯 가지 목표를 포괄하는 520개 항목의 비공개 전문가 작성 데이터셋으로 평가한다. 실험 결과, 모호한 목표는 탐색 노력을 목표 해석 쪽으로 돌리는 것으로 나타났다. 현재의 에이전트는 학습 및 하네스 편집 루프를 통상적으로 완료하지만, 모델 가중치 수준의 개선은 드물고 불안정하며, 가장 우수한 진화 하네스조차 사람이 설계한 Qwen-Agent 참조 구현에 미치지 못한다. 에이전트는 종종 목표와 어긋난 데이터로 학습하고 협소한 자기 평가를 신뢰한다. 그 결과 그 범위에서 얻은 국부적 개선은 비공개 평가로 전이되지 못하며, 탐색과 학습을 계속하면 이전의 개선마저 지워질 수 있다.

English

Many important forms of human learning begin with a vague goal, such as "become a better physicist" or "improve at research." Learners must interpret the goal, identify capability gaps, decide how to learn, and determine whether they have actually improved. In contrast, existing work on LLM self-evolution typically begins with tasks and evaluation metrics specified by humans, reducing self-evolution to optimizing an explicit objective rather than deciding what and how to learn. We introduce ASPIRE, a benchmark for vague-goal-driven self-evolution. ASPIRE provides only a natural-language capability goal while downstream evaluation tasks remain hidden. The agent must operationalize the goal by choosing data and update methods, constructing training and validation signals, and deciding when to evaluate. ASPIRE supports both model-weight and agent-harness evolution in a unified interactive environment and evaluates the resulting systems on a hidden, expert-authored set of 520 items spanning six goals. Our experiments show that vague goals redirect search effort toward goal interpretation. Current agents routinely complete training and harness-editing loops, but weight-level gains remain sparse and unstable, and the strongest evolved harness remains below the engineered Qwen-Agent reference. Agents often train on mismatched data and trust narrow self-evaluations, so local gains fail to transfer to hidden evaluation and continued search and training can erase earlier improvements.