PatRe: Um Benchmark de Geração Completa de Ações Oficiais e Contrarrazões para Exame de Patentes

Resumo

A análise de patentes é um processo complexo e multifásico que requer tanto conhecimento técnico quanto raciocínio jurídico, sendo cada vez mais desafiado pelo volume crescente de pedidos. Os benchmarks anteriores veem predominantemente a análise de patentes como uma classificação discriminativa ou extração estática, falhando em capturar sua natureza inerentemente interativa e iterativa, semelhante ao processo de revisão por pares e réplica na publicação acadêmica. Neste artigo, apresentamos o PatRe, o primeiro benchmark que modela todo o ciclo de vida do exame de patentes, incluindo a geração de Ações do Escritório (Office Actions) e a contra-argumentação do requerente. O PatRe compreende 480 casos do mundo real e suporta configurações de avaliação simulada por oráculo e por recuperação de informação. Nosso benchmark reformula o exame de patentes como um processo dinâmico e multi-turno de justificação e resposta. Experimentos extensos com vários LLMs revelam insights críticos sobre o desempenho dos modelos, incluindo diferenças entre modelos proprietários e de código aberto, bem como assimetrias de tarefas entre a análise do examinador e a contra-argumentação do lado do requerente. Essas descobertas destacam tanto o potencial quanto as limitações atuais dos LLMs na modelagem do raciocínio jurídico complexo do mundo real e do julgamento de novidade técnica no exame de patentes. Disponibilizamos nosso código e conjunto de dados para facilitar pesquisas futuras sobre a modelagem do exame de patentes.

English

Patent examination is a complex, multi-stage process requiring both technical expertise and legal reasoning, increasingly challenged by rising application volumes. Prior benchmarks predominantly view patent examination as discriminative classification or static extraction, failing to capture its inherently interactive and iterative nature, similar to the peer review and rebuttal process in academic publishing. In this paper, we introduce PatRe, the first benchmark that models the full patent examination lifecycle, including Office Action generation and applicant rebuttal. PatRe comprises 480 real-world cases and supports both oracle and retrieval-simulated evaluation settings. Our benchmark reframes patent examination as a dynamic, multi-turn process of justification and response. Extensive experiments across various LLMs reveal critical insights into model performance, including differences between proprietary and open-source models, as well as task asymmetries between examiner analysis and applicant-side rebuttal. These findings highlight both the potential and current limitations of LLMs in modeling complex, real-world legal reasoning and technical novelty judgment in patent examination. We release our code and dataset to facilitate future research on patent examination modeling.