Rule2DRC: Het benchmarken van LLM-agenten voor de synthese van DRC-scripts met executie-gestuurde testgeneratie

Samenvatting

Produceerbare chippatronen moeten voldoen aan duizenden op geometrie gebaseerde ontwerpregels, en design rule checking (DRC) handhaaft deze door uitvoerbare DRC-scripts op de patronen te draaien. Het vertalen van natuurlijke-taalregels naar correcte DRC-scripts is arbeidsintensief en vereist gespecialiseerde expertise, wat de motivatie vormt voor LLM-agenten voor DRC-scriptsynthese en -debugging. Bestaande benchmarks hebben echter kleine evaluatiesets en beoordelen scripts vaak op code-overeenkomst in plaats van uitvoeringscorrectheid, en eerdere op machinaal leren gebaseerde methoden negeren óf uitvoeringsfeedback óf vereisen gelabelde testlayouts als input voor de agent. Daartoe introduceren we Rule2DRC, een grootschalige benchmark voor DRC-scriptcoderingsagenten met 1.000 regel-naar-script taken en 13.921 evaluatie-chiplayouts voor uitvoeringsgebaseerde beoordeling. Rule2DRC biedt een evaluatiepijplijn die functionele correctheid meet via DRC-uitvoeringsresultaten zonder dat evaluatielayouts als input voor de agent nodig zijn. We stellen ook SplitTester voor, een testeragent voor programmaselectie die uitvoeringsfeedback gebruikt om onderscheidende testgevallen te genereren en eerder ononderscheidbare kandidaat-scripts te scheiden, wat de Best-of-N selectieprestaties in dit domein aanzienlijk verbetert. We publiceren de code op https://github.com/snu-mllab/Rule2DRC.

English

Manufacturable chip layouts must satisfy thousands of geometry-based design rules, and design rule checking (DRC) enforces them by running executable DRC scripts on layouts. Translating natural language rules into correct DRC scripts is labor-intensive and requires specialized expertise, motivating LLM agents for DRC script synthesis and debugging. However, existing benchmarks have small evaluation sets and often evaluate scripts by code similarity rather than execution correctness, and prior machine learning-based methods either ignore execution feedback or require labeled test layouts as agent's input. To this end, we introduce Rule2DRC, a large-scale benchmark for DRC script coding agents with 1,000 rule-to-script tasks and 13,921 evaluation chip layouts for execution-based scoring. Rule2DRC provides an evaluation pipeline that measures functional correctness via DRC execution outcomes without requiring evaluation layouts as input to the agent. We also propose SplitTester, a tester agent for program selection that uses execution feedback to generate discriminative test cases and separate previously indistinguishable candidate scripts, substantially improving Best-of-N selection performance in this domain. We release the code at https://github.com/snu-mllab/Rule2DRC.