LawFlow : Collecte et simulation des processus de pensée des avocats

LawFlow : Collecting and Simulating Lawyers' Thought Processes

April 26, 2025

Auteurs: Debarati Das, Khanh Chi Le, Ritik Sachin Parkar, Karin De Langis, Brendan Madson, Chad M. Berryman, Robin M. Willis, Daniel H. Moses, Brett McDonnell, Daniel Schwarcz, Dongyeop Kang

cs.AI

Résumé

Les praticiens du droit, en particulier ceux en début de carrière, sont confrontés à des tâches complexes et à enjeux élevés qui nécessitent un raisonnement adaptatif et sensible au contexte. Bien que l'IA promette de soutenir le travail juridique, les ensembles de données et modèles actuels se concentrent étroitement sur des sous-tâches isolées et ne parviennent pas à capturer la prise de décision de bout en bout requise dans la pratique réelle. Pour combler cette lacune, nous présentons LawFlow, un ensemble de données de workflows juridiques complets de bout en bout, collectés auprès d'étudiants en droit formés, ancrés dans des scénarios réels de création d'entités commerciales. Contrairement aux ensembles de données antérieurs axés sur des paires entrée-sortie ou des chaînes de pensée linéaires, LawFlow capture des processus de raisonnement dynamiques, modulaires et itératifs qui reflètent l'ambiguïté, la révision et les stratégies adaptatives aux clients de la pratique juridique. En utilisant LawFlow, nous comparons les workflows générés par des humains et ceux générés par des modèles de langage (LLM), révélant des différences systématiques dans la structure, la flexibilité du raisonnement et l'exécution des plans. Les workflows humains tendent à être modulaires et adaptatifs, tandis que les workflows des LLM sont plus séquentiels, exhaustifs et moins sensibles aux implications ultérieures. Nos résultats suggèrent également que les professionnels du droit préfèrent que l'IA assume des rôles de soutien, tels que le brainstorming, l'identification des angles morts et la proposition d'alternatives, plutôt que d'exécuter des workflows complexes de bout en bout. Sur la base de ces constatations, nous proposons un ensemble de suggestions de conception, ancrées dans des observations empiriques, qui alignent l'assistance de l'IA sur les objectifs humains de clarté, d'exhaustivité, de créativité et d'efficacité, grâce à une planification hybride, une exécution adaptative et un soutien aux points de décision. Nos résultats mettent en lumière à la fois les limites actuelles des LLM dans le soutien des workflows juridiques complexes et les opportunités de développement de systèmes d'IA juridiques plus collaboratifs et conscients du raisonnement. Toutes les données et le code sont disponibles sur notre page de projet (https://minnesotanlp.github.io/LawFlow-website/).

English

Legal practitioners, particularly those early in their careers, face complex, high-stakes tasks that require adaptive, context-sensitive reasoning. While AI holds promise in supporting legal work, current datasets and models are narrowly focused on isolated subtasks and fail to capture the end-to-end decision-making required in real-world practice. To address this gap, we introduce LawFlow, a dataset of complete end-to-end legal workflows collected from trained law students, grounded in real-world business entity formation scenarios. Unlike prior datasets focused on input-output pairs or linear chains of thought, LawFlow captures dynamic, modular, and iterative reasoning processes that reflect the ambiguity, revision, and client-adaptive strategies of legal practice. Using LawFlow, we compare human and LLM-generated workflows, revealing systematic differences in structure, reasoning flexibility, and plan execution. Human workflows tend to be modular and adaptive, while LLM workflows are more sequential, exhaustive, and less sensitive to downstream implications. Our findings also suggest that legal professionals prefer AI to carry out supportive roles, such as brainstorming, identifying blind spots, and surfacing alternatives, rather than executing complex workflows end-to-end. Building on these findings, we propose a set of design suggestions, rooted in empirical observations, that align AI assistance with human goals of clarity, completeness, creativity, and efficiency, through hybrid planning, adaptive execution, and decision-point support. Our results highlight both the current limitations of LLMs in supporting complex legal workflows and opportunities for developing more collaborative, reasoning-aware legal AI systems. All data and code are available on our project page (https://minnesotanlp.github.io/LawFlow-website/).