PIPE-Cypher: Автоматическая генерация корпоративных эталонов для систем преобразования текста в Cypher

Аннотация

Корпоративные графы свойств сильно различаются по структуре схем, внутренней терминологии, предметным допущениям, регламентным ограничениям и шаблонам взаимодействия пользователей. Следовательно, бенчмарк Text2Cypher, соответствующий условиям развертывания, отражает вопросы, которые пользователи и агенты на самом деле задают этому графу. Создание такого бенчмарка затруднительно, поскольку схемы и значения уникальны, а структура графа меняется со временем. Каждая пара «естественно-языковой запрос — Cypher-запрос» также должна быть выполнимой, использовать реальные сущности графа, сохранять разнообразие и оставаться сбалансированной по типам запросов и уровням сложности. Мы представляем PIPE-Cypher — локальный конвейер генерации бенчмарков, который преобразует живой граф свойств и необязательные затравочные запросы из вопросов клиентов, журналов аналитиков или вызовов инструментов агентов в сбалансированные бенчмарки преобразования естественного языка в Cypher. PIPE-Cypher объединяет профилирование схем, обратное уточнение запросов, ограниченную генерацию, детерминированное управление Cypher, проверку выполнения, редактирование, контроль разнообразия и калиброванный локальный LLM-оценщик. Используя локальную генерацию и оценку на базе Qwen3.5-9B, PIPE-Cypher экспортирует 3000 принятых примеров FinBench/SNB, выполняет три проверенных набора абляционных экспериментов, калибрует поведение оценщика с помощью человеческих меток и оценивает 11 локальных моделей нижнего уровня. Полученный бенчмарк является намеренно дискриминативным: перенос без обучения (zero-shot) слаб, тогда как контроль с несколькими примерами (few-shot) показывает, что наборы примеров, специфичные для схемы, могут помочь совместимым семействам моделей. В совокупности PIPE-Cypher делает бенчмаркинг Text2Cypher повторяемым процессом, который развивается вместе с графом, его пользователями и целевыми нагрузками.

English

Enterprise property graphs vary widely in schema structure, internal terminology, domain assumptions, governance constraints, and user interaction patterns. A deployment-relevant Text2Cypher benchmark therefore reflects the questions users and agents actually ask of that graph. Creating such a benchmark is difficult because schemas and values are unique, and graph structure changes over time. Each NL-query pair must also be executable, use real graph entities, preserve diversity, and remain balanced across query types and difficulty levels. We present PIPE-Cypher, a local benchmark-generation pipeline that turns a live property graph and optional seed queries from customer questions, analyst logs, or agent tool calls into balanced NL-to-Cypher benchmarks. PIPE-Cypher combines schema profiling, reverse-query grounding, constrained generation, deterministic Cypher governance, execution validation, redaction, diversity controls, and a calibrated local LLM judge. Using local Qwen3.5-9B generation and judging, PIPE-Cypher exports 3,000 accepted FinBench/SNB examples, completes three audited ablation suites, calibrates judge behavior with human labels, and evaluates 11 local downstream models. The resulting benchmark is deliberately discriminative: zero-shot transfer is weak, while a few-shot control shows that schema-specific example banks can help compatible model families. Together, PIPE-Cypher makes Text2Cypher benchmarking a repeatable process that evolves with the graph, its users, and its target workloads.