LawFlow: Het verzamelen en simuleren van denkprocessen van advocaten

LawFlow : Collecting and Simulating Lawyers' Thought Processes

April 26, 2025

Auteurs: Debarati Das, Khanh Chi Le, Ritik Sachin Parkar, Karin De Langis, Brendan Madson, Chad M. Berryman, Robin M. Willis, Daniel H. Moses, Brett McDonnell, Daniel Schwarcz, Dongyeop Kang

cs.AI

Samenvatting

Juridische professionals, met name zij die aan het begin van hun carrière staan, worden geconfronteerd met complexe, hoogwaardige taken die adaptief, contextgevoelig redeneren vereisen. Hoewel AI potentieel heeft om juridisch werk te ondersteunen, zijn huidige datasets en modellen nauw gericht op geïsoleerde subtaken en slagen ze er niet in om het end-to-end besluitvormingsproces te vatten dat in de praktijk vereist is. Om deze kloof te overbruggen, introduceren we LawFlow, een dataset van complete end-to-end juridische workflows verzameld van getrainde rechtenstudenten, gebaseerd op realistische scenario’s voor het oprichten van bedrijfsentiteiten. In tegenstelling tot eerdere datasets die zich richten op input-output paren of lineaire gedachteketens, vangt LawFlow dynamische, modulaire en iteratieve redeneerprocessen die de ambiguïteit, herziening en klantgerichte strategieën van juridische praktijk weerspiegelen. Met behulp van LawFlow vergelijken we menselijke en door LLM gegenereerde workflows, waarbij systematische verschillen in structuur, redeneerflexibiliteit en planuitvoering aan het licht komen. Menselijke workflows zijn doorgaans modulair en adaptief, terwijl LLM-workflows meer sequentieel, uitputtend en minder gevoelig zijn voor downstream implicaties. Onze bevindingen suggereren ook dat juridische professionals de voorkeur geven aan AI die ondersteunende rollen vervult, zoals brainstormen, blinde vlekken identificeren en alternatieven aandragen, in plaats van complexe workflows end-to-end uit te voeren. Op basis van deze bevindingen stellen we een reeks ontwerpsuggesties voor, geworteld in empirische observaties, die AI-ondersteuning afstemmen op menselijke doelen van duidelijkheid, volledigheid, creativiteit en efficiëntie, via hybride planning, adaptieve uitvoering en ondersteuning bij beslispunten. Onze resultaten benadrukken zowel de huidige beperkingen van LLM’s bij het ondersteunen van complexe juridische workflows als de mogelijkheden voor het ontwikkelen van meer collaboratieve, redeneerbewuste juridische AI-systemen. Alle data en code zijn beschikbaar op onze projectpagina (https://minnesotanlp.github.io/LawFlow-website/).

English

Legal practitioners, particularly those early in their careers, face complex, high-stakes tasks that require adaptive, context-sensitive reasoning. While AI holds promise in supporting legal work, current datasets and models are narrowly focused on isolated subtasks and fail to capture the end-to-end decision-making required in real-world practice. To address this gap, we introduce LawFlow, a dataset of complete end-to-end legal workflows collected from trained law students, grounded in real-world business entity formation scenarios. Unlike prior datasets focused on input-output pairs or linear chains of thought, LawFlow captures dynamic, modular, and iterative reasoning processes that reflect the ambiguity, revision, and client-adaptive strategies of legal practice. Using LawFlow, we compare human and LLM-generated workflows, revealing systematic differences in structure, reasoning flexibility, and plan execution. Human workflows tend to be modular and adaptive, while LLM workflows are more sequential, exhaustive, and less sensitive to downstream implications. Our findings also suggest that legal professionals prefer AI to carry out supportive roles, such as brainstorming, identifying blind spots, and surfacing alternatives, rather than executing complex workflows end-to-end. Building on these findings, we propose a set of design suggestions, rooted in empirical observations, that align AI assistance with human goals of clarity, completeness, creativity, and efficiency, through hybrid planning, adaptive execution, and decision-point support. Our results highlight both the current limitations of LLMs in supporting complex legal workflows and opportunities for developing more collaborative, reasoning-aware legal AI systems. All data and code are available on our project page (https://minnesotanlp.github.io/LawFlow-website/).