AutoDesign: 장기적 에이전트 설계를 위한 메타-하네스 최적화

초록

멀티모달 소스를 압축되고 구조화된 미디어 출력물로 변환하는 것은 근본적으로 모델-하네스 시스템을 중심으로 한 장기적 에이전트 프로세스로 개념화할 수 있다. 이상적인 하네스 시스템은 인간의 설계 사전 지식과 정렬되어야 하며, 경험적 탐색을 통해 재사용 가능한 경험을 축적하여 재귀적 자기 개선을 추진해야 하지만, 기존 패러다임은 정적이어서 이러한 능력에 미치지 못한다. 본 논문에서 우리는 인간의 설계 사전 지식과 정렬되는 프레임워크인 AutoDesign을 제시한다. AutoDesign에서 메타 하네스 최적화기는 코드 에이전트를 안내하여 롤아웃 피드백에 기반해 하네스를 재귀적으로 개선한다. 이 프레임워크를 구현하고 평가하기 위해, 우리는 학술 논문-포스터 생성 작업에 초점을 맞추고, 5개 분야에 걸친 100편 논문 메인 트랙으로 구성된 PosterBench와 통제된 평가를 위한 공유 10편 논문 하위 집합인 PosterBench-mini를 소개한다. PosterBench 메인 트랙에서 AutoDesign은 최고 점수 78.32를 달성하여 폐쇄형 상용 시스템인 Claude Design을 7.45점 차로 능가한다. 7가지 통제된 코드 에이전트-모델 구성 전반에 걸쳐, 학습된 DesignHarness를 통합하면 성능이 일관되게 향상되어 평균 PosterBench 점수가 54.99에서 67.39로 (+12.4%) 증가한다. 완전 자율적인 장기 루프에서 AutoDesign은 3달러 미만의 비용으로 40분 이내에 253번의 도구 호출과 11번의 편집 턴을 실행하며, 인간 평가에서 평균적인 학회 포스터 품질에 도달한다. 시스템 블라인드 인간 연구는 AutoDesign이 평가된 시스템 중에서 가장 높은 인간 선호도를 달성함을 추가로 입증한다.

English

Transforming multimodal sources into condensed and structured media outputs can be fundamentally conceptualized as a long-horizon agentic process centered on a model-harness system. While an ideal harness system should align with human design priors and accumulate reusable experience through empirical exploration to drive recursive self-improvement, existing paradigms remain static and fall short of this capability. In this paper, we present AutoDesign, a framework that aligns with human design priors, where a meta-harness optimizer guides a code agent to recursively improve harness based on rollout feedback. To instantiate and evaluate this framework, we focus on the academic paper-to-poster generation task and introduce PosterBench, comprising a 100-paper Main Track spanning five disciplines and PosterBench-mini, a shared 10-paper subset for controlled evaluation. On the PosterBench Main Track, AutoDesign achieves the highest score of 78.32, surpassing the closed-source commercial system Claude Design by 7.45 points. Across seven controlled code-agent-model configurations, integrating the learned DesignHarness consistently improves performance, increasing the average PosterBench Score from 54.99 to 67.39 (+12.4%). In a fully autonomous long-horizon loop, it executes 253 tool calls and 11 editing turns within 40 minutes for under $3, reaching average conference-poster quality in human evaluation. A system-blind human study further demonstrates that AutoDesign achieves the highest human preference among evaluated systems.