에이전트 스킬의 탈신비화: 작동하는 이유와 더 이상 작동하지 않는 이유

초록

스킬(Skills)은 구조화된 지식 패키지를 통해 추론 시점에 LLM 에이전트를 강화하는 실용적이고 효과적인 접근 방식으로 부상했다. 그러나 기존 평가는 주로 스킬이 집계된 작업 성공률을 개선하는지 여부만을 측정할 뿐, 더 근본적인 질문은 충분히 탐구되지 않았다: **스킬은 언제 도움이 되고, 왜 효과가 있으며, 어디서 실패하는가?** 다양한 벤치마크, 에이전트 하네스, LLM 전반에 걸친 통제된 실험을 통해, 우리는 표현 방식, 결과 주석, 검색 난이도, 그리고 스킬의 교차 프레임워크 견고성의 효과를 분리하여 분석한다. 이 질문에 더욱 답하기 위해, 우리는 통제된 정량 실험과 쌍을 이룬 궤적 분석을 결합한 대조 연구를 설계한다. 통제 실험에서 얻은 8,135개의 시행 기록을 정규화하고, 개방 코딩된 240개의 기록에서 238개의 유효한 고유 레이블을 확보한다. 이러한 관찰 결과를 세 가지 상위 범주와 열두 가지 스킬 사용 모드로 구성된 분류 체계로 통합한다: 스킬은 노이즈가 많은 궤적이 실행을 안정화하는 절차적 앵커로 전환될 때 효과적이다. 스킬은 대응 비교에서 워크플로우 메모리(Workflow Memory) 대비 6.06포인트 향상된 성능을 보인다. 절차적 앵커링은 스킬 사례의 65.7%를 차지하며, 명시적 지식 주입은 4.5%에 불과하다. 이는 스킬이 누락된 사실을 주입하기보다 행동을 안정화함을 보여준다. 검색은 별개의 병목 지점이다: 풀 크기가 5에서 100으로 증가함에 따라 실제 사용 정밀도는 29.6%에서 3.3%로 하락한다. 혼동을 유발하는 방해 요소는 오프라인 식별을 저해하지만, 다운스트림 성공은 안정적으로 유지된다. 정확한 ground-truth 호출은 충분 조건도 필요 조건도 아니다. 스킬은 취약한 가정, 호환되지 않는 맥락, 또는 불충분한 적응 하에서 실패한다. 이러한 발견은 평가를 단순 집계 성공률을 넘어 확장하며, 신뢰할 수 있는 자기 진화 에이전트를 안내한다.

English

Skills have emerged as a practical and effective approach for enhancing LLM agents at inference time through structured packages of knowledge. However, existing evaluations largely measure whether skills improve aggregated task success, leaving a more fundamental question underexplored: \textbf{When do skills help, why do they work, and where do they fail?} Through controlled experiments across various benchmarks, agent harnesses and LLMs, we isolate the effects of representation, outcome annotation, retrieval difficulty, and cross-framework robustness of skills. To further answer this question, we design a contrastive study that combines controlled quantitative experiments with paired trajectory analysis. We normalize 8,135 trial records from controlled experiments and retain 238 valid unique labels from 240 open-coded records. We consolidate these observations into a taxonomy of three high-level categories and twelve skill-use modes: skills work when noisy trajectories become procedural anchors that stabilize execution. Skills improve over Workflow Memory by 6.06 points in matched comparisons. Procedural anchoring accounts for 65.7\% of skill cases, versus 4.5\% for explicit knowledge injection, showing that skills stabilize action rather than inject missing facts. Retrieval is a separate bottleneck: as pools grow from 5 to 100, actual-use precision falls from 29.6\% to 3.3\%. Confusable distractors impair offline identification, yet downstream success remains stable; exact ground-truth invocation is neither sufficient nor necessary. Skills fail under brittle assumptions, incompatible contexts, or insufficient adaptation. These findings move evaluation beyond aggregate success rates and guide reliable self-evolving agents.