PIPE-Cypher: Text-to-Cypherシステム向け自動エンタープライズベンチマーク生成

要旨

エンタープライズプロパティグラフは、スキーマ構造、内部用語、ドメインの前提、ガバナンス制約、ユーザーインタラクションパターンにおいて多様性に富んでいます。そのため、実運用に即したText2Cypherベンチマークは、ユーザーやエージェントがそのグラフに対して実際に問い合わせる質問を反映したものとなります。しかし、スキーマや値は一意であり、グラフの構造は時間とともに変化するため、このようなベンチマークを作成するのは困難です。各自然言語クエリペアは実行可能であり、実際のグラフエンティティを使用し、多様性を維持し、クエリタイプや難易度間でバランスが保たれている必要があります。本稿では、動作中のプロパティグラフと、顧客の質問、アナリストのログ、エージェントツールコールからのオプションのシードクエリを、バランスの取れた自然言語からCypherへのベンチマークに変換するローカルベンチマーク生成パイプラインであるPIPE-Cypherを提案します。PIPE-Cypherは、スキーマプロファイリング、リバースクエリのグラウンディング、制約付き生成、決定論的Cypherガバナンス、実行検証、編集、多様性制御、キャリブレーションされたローカルLLM判定器を組み合わせています。ローカルのQwen3.5-9Bによる生成と判定を用いて、PIPE-Cypherは3,000件の受け入れられたFinBench/SNBの例をエクスポートし、3つの監査済みアブレーションスイートを完了し、人間のラベルで判定器の動作をキャリブレーションし、11のローカルダウンストリームモデルを評価します。結果として得られるベンチマークは意図的に識別力を高めています。ゼロショット転送は弱い一方、数ショット制御では、スキーマ固有の例のバンクが互換性のあるモデルファミリーに役立つ可能性があることを示しています。以上により、PIPE-CypherはText2Cypherベンチマークを、グラフ、そのユーザー、そして対象となるワークロードと共に進化する反復可能なプロセスにします。

English

Enterprise property graphs vary widely in schema structure, internal terminology, domain assumptions, governance constraints, and user interaction patterns. A deployment-relevant Text2Cypher benchmark therefore reflects the questions users and agents actually ask of that graph. Creating such a benchmark is difficult because schemas and values are unique, and graph structure changes over time. Each NL-query pair must also be executable, use real graph entities, preserve diversity, and remain balanced across query types and difficulty levels. We present PIPE-Cypher, a local benchmark-generation pipeline that turns a live property graph and optional seed queries from customer questions, analyst logs, or agent tool calls into balanced NL-to-Cypher benchmarks. PIPE-Cypher combines schema profiling, reverse-query grounding, constrained generation, deterministic Cypher governance, execution validation, redaction, diversity controls, and a calibrated local LLM judge. Using local Qwen3.5-9B generation and judging, PIPE-Cypher exports 3,000 accepted FinBench/SNB examples, completes three audited ablation suites, calibrates judge behavior with human labels, and evaluates 11 local downstream models. The resulting benchmark is deliberately discriminative: zero-shot transfer is weak, while a few-shot control shows that schema-specific example banks can help compatible model families. Together, PIPE-Cypher makes Text2Cypher benchmarking a repeatable process that evolves with the graph, its users, and its target workloads.