메모리 전이 학습: 코딩 에이전트에서 도메인 간 메모리가 전달되는 방식

초록

메모리 기반 자기 진화는 코딩 에이전트를 위한 유망한 패러다임으로 부상하고 있습니다. 그러나 기존 접근법들은 일반적으로 동종 작업 영역으로 메모리 활용을 제한하여, 다양한 실제 코딩 문제들 간에 존재하는 런타임 환경 및 프로그래밍 언어와 같은 공유 인프라 기반을 활용하지 못하고 있습니다. 이러한 한계를 해결하기 위해 우리는 이종 도메인들로부터 통합 메모리 풀을 활용한 메모리 전이 학습(MTL)을 연구합니다. 우리는 구체적인 실행 흔적부터 추상적인 통찰력까지 네 가지 메모리 표현을 사용하여 6개의 코딩 벤치마크에서 성능을 평가합니다. 우리의 실험은 교차 도메인 메모리가 검증 루틴과 같은 메타 지식을 전이함으로써 평균 성능을 3.7% 향상시킨다는 것을 보여줍니다. 중요한 것은, 추상화 수준이 전이 가능성을 결정한다는 점입니다. 높은 수준의 통찰력은 잘 일반화되는 반면, 낮은 수준의 실행 흔적은 지나친 구체성으로 인해 부정적 전이를 유발하는 경우가 많습니다. 더 나아가, 전이 효과는 메모리 풀의 크기에 따라 확장되며, 서로 다른 모델 간에도 메모리를 전이할 수 있음을 보여줍니다. 우리의 연구는 단일 도메인 실루에 머물렀던 메모리 활용을 확장하기 위한 경험적 설계 원칙을 수립합니다. 프로젝트 페이지: https://memorytransfer.github.io/

English

Memory-based self-evolution has emerged as a promising paradigm for coding agents. However, existing approaches typically restrict memory utilization to homogeneous task domains, failing to leverage the shared infrastructural foundations, such as runtime environments and programming languages, that exist across diverse real-world coding problems. To address this limitation, we investigate Memory Transfer Learning (MTL) by harnessing a unified memory pool from heterogeneous domains. We evaluate performance across 6 coding benchmarks using four memory representations, ranging from concrete traces to abstract insights. Our experiments demonstrate that cross-domain memory improves average performance by 3.7\%, primarily by transferring meta-knowledge, such as validation routines, rather than task-specific code. Importantly, we find that abstraction dictates transferability; high-level insights generalize well, whereas low-level traces often induce negative transfer due to excessive specificity. Furthermore, we show that transfer effectiveness scales with the size of the memory pool, and memory can be transferred even between different models. Our work establishes empirical design principles for expanding memory utilization beyond single-domain silos. Project page: https://memorytransfer.github.io/

메모리 전이 학습: 코딩 에이전트에서 도메인 간 메모리가 전달되는 방식

Memory Transfer Learning: How Memories are Transferred Across Domains in Coding Agents

초록

Support