LatentSkill: LLM 에이전트를 위한 문맥 내 텍스트 스킬에서 가중치 내 잠재 스킬로

초록

에이전트 시스템은 재사용 가능한 작업 절차를 인코딩하기 위해 점차 텍스트 스킬을 활용하고 있지만, 매 단계마다 이러한 스킬을 프롬프트에 주입하면 상당한 컨텍스트 오버헤드가 발생하고 스킬 내용이 평문으로 노출된다. 본 논문에서는 사전 훈련된 하이퍼네트워크를 통해 텍스트 스킬을 플러그 앤 플레이 LoRA 어댑터로 변환하는 프레임워크인 LatentSkill을 제안한다. LatentSkill은 스킬 지식을 컨텍스트 공간이 아닌 가중치 공간에 저장하여, 모듈식 로딩, 스케일링, 구성을 유지하면서 단계별 스킬 토큰을 제거한다. ALFWorld 및 Search-QA에서 LatentSkill은 해당 인컨텍스트 스킬 기준선을 능가하면서도 프리필 토큰을 훨씬 적게 사용한다. ALFWorld의 경우, 64.1% 더 적은 프리필 토큰으로 알려진 분할 및 알려지지 않은 분할에서 성공률을 각각 21.4포인트 및 13.4포인트 향상시켰으며, Search-QA에서는 72.2% 낮은 스킬 토큰 오버헤드로 정확 일치 점수를 3.0포인트 향상시켰다. 추가 분석 결과, 생성된 스킬 LoRA는 구조화된 의미 기하학을 형성하며, LoRA 스케일링 계수를 통해 정밀하게 제어할 수 있고, 스킬 구성 요소가 정렬될 때 매개변수 공간 산술을 통해 구성할 수 있음을 보여준다. 이러한 발견은 가중치 공간 스킬이 LLM 에이전트를 확장하기 위한 효율적이고 모듈식이며 덜 노출된 기반을 제공함을 시사한다.

English

Agent systems increasingly use textual skills to encode reusable task procedures, but injecting these skills into the prompt at every step incurs substantial context overhead and exposes skill content as plaintext. We present LatentSkill, a framework that converts textual skills into plug-and-play LoRA adapters through a pretrained hypernetwork. LatentSkill stores skill knowledge in weight space rather than context space, removing per-step skill tokens while preserving modular loading, scaling, and composition. On ALFWorld and Search-QA, LatentSkill outperforms the corresponding in-context skill baseline while using substantially fewer prefill tokens: it improves ALFWorld success by 21.4 and 13.4 points on the seen and unseen splits with 64.1% fewer prefill tokens, and improves Search-QA exact match by 3.0 points with 72.2% lower skill-token overhead. Further analysis shows that generated skill LoRAs form a structured semantic geometry, can be precisely controlled via the LoRA scaling coefficient, and can be composed through parameter-space arithmetic when skill components are aligned. These findings suggest that weight-space skills provide an efficient, modular, and less exposed substrate for extending LLM agents.