Rule2DRC: Benchmarking de Agentes de LLM para Síntese de Scripts de DRC com Geração de Testes Guiada por Execução

Resumo

Os layouts de chips fabricáveis devem satisfazer milhares de regras de projeto baseadas em geometria, e a verificação de regras de projeto (DRC) as impõe executando scripts DRC nos layouts. A tradução de regras em linguagem natural para scripts DRC corretos é intensiva em mão de obra e exige expertise especializada, motivando o uso de agentes LLM para síntese e depuração de scripts DRC. No entanto, os benchmarks existentes possuem conjuntos de avaliação pequenos e frequentemente avaliam scripts por similaridade de código em vez de correção de execução, e métodos anteriores baseados em aprendizado de máquina ignoram o feedback de execução ou exigem layouts de teste rotulados como entrada do agente. Nesse contexto, apresentamos o Rule2DRC, um benchmark de grande escala para agentes de codificação de scripts DRC, com 1.000 tarefas de regra para script e 13.921 layouts de chip de avaliação para pontuação baseada em execução. O Rule2DRC fornece um pipeline de avaliação que mede a correção funcional por meio dos resultados da execução da DRC, sem exigir layouts de avaliação como entrada do agente. Também propomos o SplitTester, um agente testador para seleção de programas que usa feedback de execução para gerar casos de teste discriminativos e separar scripts candidatos anteriormente indistinguíveis, melhorando substancialmente o desempenho de seleção Best-of-N nesse domínio. Disponibilizamos o código em https://github.com/snu-mllab/Rule2DRC.

English

Manufacturable chip layouts must satisfy thousands of geometry-based design rules, and design rule checking (DRC) enforces them by running executable DRC scripts on layouts. Translating natural language rules into correct DRC scripts is labor-intensive and requires specialized expertise, motivating LLM agents for DRC script synthesis and debugging. However, existing benchmarks have small evaluation sets and often evaluate scripts by code similarity rather than execution correctness, and prior machine learning-based methods either ignore execution feedback or require labeled test layouts as agent's input. To this end, we introduce Rule2DRC, a large-scale benchmark for DRC script coding agents with 1,000 rule-to-script tasks and 13,921 evaluation chip layouts for execution-based scoring. Rule2DRC provides an evaluation pipeline that measures functional correctness via DRC execution outcomes without requiring evaluation layouts as input to the agent. We also propose SplitTester, a tester agent for program selection that uses execution feedback to generate discriminative test cases and separate previously indistinguishable candidate scripts, substantially improving Best-of-N selection performance in this domain. We release the code at https://github.com/snu-mllab/Rule2DRC.