DataFlow-Harness: 편집 가능한 LLM 데이터 파이프라인 구축을 위한 실제 기반 코드 에이전트 플랫폼

초록

대규모 언어 모델(LLM)은 데이터 처리 워크플로우를 자동화하는 데 점점 더 많이 사용되고 있지만, 코딩 에이전트가 생성한 스크립트는 일반적으로 지속 가능하고 편집 가능한 플랫폼 아티팩트로 자동 구현되지 않는다. 이러한 괴리를 우리는 NL2Pipeline 격차라고 부른다. 이 격차를 해소하기 위해, 우리는 DataFlow-Harness를 제안한다. 이 플랫폼은 LLM 에이전트가 자유 형식 스크립트 대신 유형화된 점진적 변환을 통해 플랫폼 네이티브 방향성 비순환 그래프(DAG)를 구성하도록 유도한다. 이 플랫폼은 절차적 안내를 위한 DataFlow-Skills, 실시간 운영자 레지스트리와 현재 파이프라인 상태를 노출하는 모델 컨텍스트 프로토콜(MCP) 계층, 그리고 대화형 저작과 시각적 DAG 편집기를 동기화하는 DataFlow-WebUI를 결합한다. 12개 작업으로 구성된 데이터 엔지니어링 벤치마크에서 DataFlow-Harness는 93.3%의 종단 간 통과율을 달성했다. Vanilla Claude Code 대비 측정된 금전적 비용은 72.5% 절감되었고, 생성 지연 시간은 49.9% 단축되었다. 통과율은 Context-Aware Claude Code 기준선과 0.9% 포인트 차이 내에 있었으며, 비용은 42.8% 낮았다. 작업별 분석에 따르면, Skills는 구성이 암묵적 절차적 지식에 의존할 때 가장 유용한 것으로 나타났다. 이러한 결과는 실시간 플랫폼 기반이 스크립트 생성 기준선과 유사한 신뢰성과 더 낮은 측정된 구성 비용 및 지연 시간으로 지속 가능하고 편집 가능한 워크플로우 아티팩트를 생성할 수 있음을 보여준다.

English

Large language models (LLMs) are increasingly used to automate data-processing workflows, yet coding agents typically produce scripts that are not automatically materialized as persistent, editable platform artifacts. We call this disconnect the NL2Pipeline gap. To bridge it, we introduce DataFlow-Harness, a platform that guides an LLM agent to construct platform-native directed acyclic graphs (DAGs) through typed, incremental mutations rather than free-form scripts. The platform combines DataFlow-Skills for procedural guidance, a Model Context Protocol (MCP) layer that exposes the live operator registry and current pipeline state, and DataFlow-WebUI, which synchronizes conversational authoring with a visual DAG editor. On a 12-task data-engineering benchmark, DataFlow-Harness achieves a 93.3\% observed end-to-end pass rate. Relative to Vanilla Claude Code, it reduces measured monetary cost by 72.5\% and generation latency by 49.9\%; its observed pass rate is within 0.9 percentage points of the Context-Aware Claude Code baseline while its cost is 42.8\% lower. Per-task analysis indicates that Skills are most useful when construction depends on implicit procedural knowledge. These results show that live platform grounding can produce persistent, editable workflow artifacts with an observed reliability close to script-generation baselines and with lower measured construction cost and latency.