LawFlow: 변호사 사고 프로세스 수집 및 시뮬레이션

초록

법률 실무자들, 특히 경력 초반의 실무자들은 적응적이고 상황에 민감한 추론이 필요한 복잡하고 위험도가 높은 업무에 직면합니다. AI가 법률 업무를 지원할 가능성이 있지만, 현재의 데이터셋과 모델은 고립된 하위 작업에만 초점을 맞추고 있어 실제 업무에서 필요한 종단간 의사결정을 포착하지 못하고 있습니다. 이러한 격차를 해소하기 위해, 우리는 실제 비즈니스 법인 설립 시나리오를 기반으로 훈련된 법학도들로부터 수집된 종단간 법률 워크플로우 데이터셋인 LawFlow를 소개합니다. 입력-출력 쌍이나 선형적 사고 체인에 초점을 맞춘 기존 데이터셋과 달리, LawFlow는 법률 실무의 모호성, 수정, 그리고 클라이언트에 적응적인 전략을 반영한 동적이고 모듈화된 반복적 추론 과정을 포착합니다. LawFlow를 사용하여 인간과 LLM(대형 언어 모델)이 생성한 워크플로우를 비교한 결과, 구조, 추론 유연성, 계획 실행에서 체계적인 차이를 발견했습니다. 인간의 워크플로우는 모듈화되고 적응적인 경향이 있는 반면, LLM의 워크플로우는 더 순차적이고 철저하며 하류 영향에 덜 민감했습니다. 또한, 법률 전문가들은 AI가 복잡한 워크플로우를 종단간 실행하기보다는 브레인스토밍, 블라인드 스팟 식별, 대안 제시와 같은 지원 역할을 수행하는 것을 선호한다는 것을 발견했습니다. 이러한 연구 결과를 바탕으로, 우리는 하이브리드 계획, 적응적 실행, 의사결정 지점 지원을 통해 명확성, 완전성, 창의성, 효율성이라는 인간의 목표와 일치하는 AI 지원을 위한 설계 제안을 제시합니다. 우리의 결과는 복잡한 법률 워크플로우를 지원하는 데 있어 LLM의 현재 한계와 더 협력적이고 추론을 인지하는 법률 AI 시스템을 개발할 기회를 모두 강조합니다. 모든 데이터와 코드는 프로젝트 페이지(https://minnesotanlp.github.io/LawFlow-website/)에서 확인할 수 있습니다.

English

Legal practitioners, particularly those early in their careers, face complex, high-stakes tasks that require adaptive, context-sensitive reasoning. While AI holds promise in supporting legal work, current datasets and models are narrowly focused on isolated subtasks and fail to capture the end-to-end decision-making required in real-world practice. To address this gap, we introduce LawFlow, a dataset of complete end-to-end legal workflows collected from trained law students, grounded in real-world business entity formation scenarios. Unlike prior datasets focused on input-output pairs or linear chains of thought, LawFlow captures dynamic, modular, and iterative reasoning processes that reflect the ambiguity, revision, and client-adaptive strategies of legal practice. Using LawFlow, we compare human and LLM-generated workflows, revealing systematic differences in structure, reasoning flexibility, and plan execution. Human workflows tend to be modular and adaptive, while LLM workflows are more sequential, exhaustive, and less sensitive to downstream implications. Our findings also suggest that legal professionals prefer AI to carry out supportive roles, such as brainstorming, identifying blind spots, and surfacing alternatives, rather than executing complex workflows end-to-end. Building on these findings, we propose a set of design suggestions, rooted in empirical observations, that align AI assistance with human goals of clarity, completeness, creativity, and efficiency, through hybrid planning, adaptive execution, and decision-point support. Our results highlight both the current limitations of LLMs in supporting complex legal workflows and opportunities for developing more collaborative, reasoning-aware legal AI systems. All data and code are available on our project page (https://minnesotanlp.github.io/LawFlow-website/).

LawFlow: 변호사 사고 프로세스 수집 및 시뮬레이션

LawFlow : Collecting and Simulating Lawyers' Thought Processes

초록

Support