Rule2DRC: Бенчмаркинг агентов на основе LLM для синтеза скриптов DRC с генерацией тестов, управляемой выполнением

Аннотация

Промышленно реализуемые топологии чипов должны удовлетворять тысячам геометрических правил проектирования, а проверка этих правил (DRC) осуществляется путём выполнения исполняемых скриптов DRC на топологиях. Перевод правил, заданных на естественном языке, в корректные скрипты DRC требует больших трудозатрат и специализированной экспертизы, что стимулирует создание агентов на основе больших языковых моделей для синтеза и отладки скриптов DRC. Однако существующие бенчмарки имеют малые оценочные наборы и зачастую оценивают скрипты по схожести кода, а не по корректности выполнения; кроме того, предыдущие методы, основанные на машинном обучении, либо игнорируют обратную связь по выполнению, либо требуют размеченных тестовых топологий на входе агента. Для решения этой проблемы мы представляем Rule2DRC — крупномасштабный бенчмарк для агентов, пишущих скрипты DRC, содержащий 1000 задач преобразования правил в скрипты и 13 921 оценочную топологию чипов для оценки на основе выполнения. Rule2DRC предоставляет конвейер оценки, измеряющий функциональную корректность по результатам выполнения DRC, не требуя подачи оценочных топологий на вход агенту. Мы также предлагаем SplitTester — агента-тестировщика для выбора программ, который использует обратную связь по выполнению для генерации различающих тестовых случаев и разделения ранее неразличимых кандидатных скриптов, что существенно улучшает производительность выбора лучшего из N (Best-of-N) в данной области. Код опубликован по адресу https://github.com/snu-mllab/Rule2DRC.

English

Manufacturable chip layouts must satisfy thousands of geometry-based design rules, and design rule checking (DRC) enforces them by running executable DRC scripts on layouts. Translating natural language rules into correct DRC scripts is labor-intensive and requires specialized expertise, motivating LLM agents for DRC script synthesis and debugging. However, existing benchmarks have small evaluation sets and often evaluate scripts by code similarity rather than execution correctness, and prior machine learning-based methods either ignore execution feedback or require labeled test layouts as agent's input. To this end, we introduce Rule2DRC, a large-scale benchmark for DRC script coding agents with 1,000 rule-to-script tasks and 13,921 evaluation chip layouts for execution-based scoring. Rule2DRC provides an evaluation pipeline that measures functional correctness via DRC execution outcomes without requiring evaluation layouts as input to the agent. We also propose SplitTester, a tester agent for program selection that uses execution feedback to generate discriminative test cases and separate previously indistinguishable candidate scripts, substantially improving Best-of-N selection performance in this domain. We release the code at https://github.com/snu-mllab/Rule2DRC.