DataFlow-Harness: コードエージェントを実装した編集可能なLLMデータパイプライン構築プラットフォーム

要旨

大規模言語モデル（LLM）はデータ処理ワークフローの自動化にますます利用されるようになっているが、通常、コーディングエージェントが生成するスクリプトは、永続的で編集可能なプラットフォーム成果物として自動的に具現化されるわけではない。我々はこの非連続性を「NL2Pipelineギャップ」と呼ぶ。このギャップを埋めるために、我々はDataFlow-Harnessを導入する。これは、LLMエージェントを誘導し、自由形式のスクリプトではなく、型付きかつ増分的な変更を通じて、プラットフォームネイティブの有向非巡回グラフ（DAG）を構築させるプラットフォームである。このプラットフォームは、手続き的ガイダンスのためのDataFlow-Skills、生のオペレータレジストリと現在のパイプライン状態を公開するModel Context Protocol（MCP）レイヤー、そして対話型のオーサリングをビジュアルDAGエディタと同期させるDataFlow-WebUIを組み合わせている。12タスクのデータエンジニアリングベンチマークにおいて、DataFlow-Harnessは93.3%の観測されたエンドツーエンド合格率を達成した。バニラのClaude Codeと比較して、計測された金銭的コストを72.5%、生成レイテンシを49.9%削減し、観測された合格率はContext-Aware Claude Codeベースラインと0.9ポイント差以内でありながら、コストは42.8%低い。タスクごとの分析によると、Skillsは構築が暗黙の手続き的知識に依存する場合に最も有用であることが示された。これらの結果は、ライブプラットフォームによる基盤付けが、スクリプト生成ベースラインに近い観測信頼性と、より低い計測された構築コストおよびレイテンシで、永続的で編集可能なワークフロー成果物を生成できることを示している。

English

Large language models (LLMs) are increasingly used to automate data-processing workflows, yet coding agents typically produce scripts that are not automatically materialized as persistent, editable platform artifacts. We call this disconnect the NL2Pipeline gap. To bridge it, we introduce DataFlow-Harness, a platform that guides an LLM agent to construct platform-native directed acyclic graphs (DAGs) through typed, incremental mutations rather than free-form scripts. The platform combines DataFlow-Skills for procedural guidance, a Model Context Protocol (MCP) layer that exposes the live operator registry and current pipeline state, and DataFlow-WebUI, which synchronizes conversational authoring with a visual DAG editor. On a 12-task data-engineering benchmark, DataFlow-Harness achieves a 93.3\% observed end-to-end pass rate. Relative to Vanilla Claude Code, it reduces measured monetary cost by 72.5\% and generation latency by 49.9\%; its observed pass rate is within 0.9 percentage points of the Context-Aware Claude Code baseline while its cost is 42.8\% lower. Per-task analysis indicates that Skills are most useful when construction depends on implicit procedural knowledge. These results show that live platform grounding can produce persistent, editable workflow artifacts with an observed reliability close to script-generation baselines and with lower measured construction cost and latency.