Rule2DRC: Benchmarking von LLM-Agenten zur DRC-Skriptsynthese mit ausführungsgesteuerter Testgenerierung

Zusammenfassung

Herstellbare Chip-Layouts müssen Tausende von geometriebasierten Entwurfsregeln erfüllen, und die Entwurfsregelprüfung (DRC) setzt diese durch, indem ausführbare DRC-Skripte auf die Layouts angewendet werden. Die Übersetzung von natürlichsprachlichen Regeln in korrekte DRC-Skripte ist arbeitsintensiv und erfordert spezialisiertes Fachwissen, was den Einsatz von LLM-Agenten für die Synthese und Fehlerbehebung von DRC-Skripten motiviert. Bestehende Benchmarks verfügen jedoch über kleine Evaluierungssets und bewerten Skripte oft anhand der Code-Ähnlichkeit statt der Ausführungskorrektheit. Zudem ignorieren frühere maschinenlernbasierte Methoden entweder das Ausführungsfeedback oder erfordern beschriftete Test-Layouts als Eingabe für den Agenten. Aus diesem Grund stellen wir Rule2DRC vor, einen groß angelegten Benchmark für DRC-Skript-Coding-Agenten mit 1.000 Regel-zu-Skript-Aufgaben und 13.921 Evaluierungs-Chip-Layouts für eine ausführungsbasierte Bewertung. Rule2DRC bietet eine Evaluierungspipeline, die die funktionale Korrektheit anhand der DRC-Ausführungsergebnisse misst, ohne dass Evaluierungs-Layouts als Eingabe für den Agenten erforderlich sind. Wir schlagen außerdem SplitTester vor, einen Tester-Agenten zur Programmauswahl, der Ausführungsfeedback nutzt, um diskriminierende Testfälle zu generieren und zuvor nicht unterscheidbare Kandidatenskripte zu trennen, wodurch die Best-of-N-Auswahlleistung in diesem Bereich erheblich verbessert wird. Den Code veröffentlichen wir unter https://github.com/snu-mllab/Rule2DRC.

English

Manufacturable chip layouts must satisfy thousands of geometry-based design rules, and design rule checking (DRC) enforces them by running executable DRC scripts on layouts. Translating natural language rules into correct DRC scripts is labor-intensive and requires specialized expertise, motivating LLM agents for DRC script synthesis and debugging. However, existing benchmarks have small evaluation sets and often evaluate scripts by code similarity rather than execution correctness, and prior machine learning-based methods either ignore execution feedback or require labeled test layouts as agent's input. To this end, we introduce Rule2DRC, a large-scale benchmark for DRC script coding agents with 1,000 rule-to-script tasks and 13,921 evaluation chip layouts for execution-based scoring. Rule2DRC provides an evaluation pipeline that measures functional correctness via DRC execution outcomes without requiring evaluation layouts as input to the agent. We also propose SplitTester, a tester agent for program selection that uses execution feedback to generate discriminative test cases and separate previously indistinguishable candidate scripts, substantially improving Best-of-N selection performance in this domain. We release the code at https://github.com/snu-mllab/Rule2DRC.