LawThinker: 동적 환경에서의 심층 연구 법률 에이전트

초록

법률 추론은 올바른 결과뿐만 아니라 절차적으로 준수된 추론 과정을 요구합니다. 그러나 기존 방법론은 중간 추론 단계를 검증하는 메커니즘을 갖추지 못해 부적절한 법률 인용과 같은 오류가 추론 체인을 통해 탐지되지 않고 전파되는 것을 허용합니다. 이를 해결하기 위해 우리는 동적 법률 환경을 위한 탐색-검증-기억 전략을 채택한 자율 법률 연구 에이전트인 LawThinker를 제안합니다. 핵심 아이디어는 모든 지식 탐색 단계 이후 검증을 원자적 연산으로 강제하는 것입니다. DeepVerifier 모듈은 지식 정확성, 사실-법률 관련성, 절차 준수성이라는 세 차원에서 각 검색 결과를 검사하며, 장기적 과제에서 교차 라운드 지식 재사용을 위한 메모리 모듈을 갖춥니다. 동적 벤치마크 J1-EVAL에서의 실험 결과, LawThinker는 직접 추론 대비 24%, 워크플로우 기반 방법 대비 11%의 성능 향상을 달성했으며, 특히 과정 지향 측정 항목에서 강력한 개선을 보였습니다. 세 가지 정적 벤치마크에 대한 평가는 또한 모델의 일반화 능력을 추가로 입증합니다. 코드는 https://github.com/yxy-919/LawThinker-agent 에서 확인할 수 있습니다.

English

Legal reasoning requires not only correct outcomes but also procedurally compliant reasoning processes. However, existing methods lack mechanisms to verify intermediate reasoning steps, allowing errors such as inapplicable statute citations to propagate undetected through the reasoning chain. To address this, we propose LawThinker, an autonomous legal research agent that adopts an Explore-Verify-Memorize strategy for dynamic judicial environments. The core idea is to enforce verification as an atomic operation after every knowledge exploration step. A DeepVerifier module examines each retrieval result along three dimensions of knowledge accuracy, fact-law relevance, and procedural compliance, with a memory module for cross-round knowledge reuse in long-horizon tasks. Experiments on the dynamic benchmark J1-EVAL show that LawThinker achieves a 24% improvement over direct reasoning and an 11% gain over workflow-based methods, with particularly strong improvements on process-oriented metrics. Evaluations on three static benchmarks further confirm its generalization capability. The code is available at https://github.com/yxy-919/LawThinker-agent .

LawThinker: 동적 환경에서의 심층 연구 법률 에이전트

LawThinker: A Deep Research Legal Agent in Dynamic Environments

초록

Support