LawFlow: Raccolta e Simulazione dei Processi di Pensiero degli Avvocati

LawFlow : Collecting and Simulating Lawyers' Thought Processes

April 26, 2025

Autori: Debarati Das, Khanh Chi Le, Ritik Sachin Parkar, Karin De Langis, Brendan Madson, Chad M. Berryman, Robin M. Willis, Daniel H. Moses, Brett McDonnell, Daniel Schwarcz, Dongyeop Kang

cs.AI

Abstract

I professionisti legali, in particolare quelli all'inizio della loro carriera, affrontano compiti complessi e ad alto rischio che richiedono un ragionamento adattivo e sensibile al contesto. Sebbene l'IA prometta di supportare il lavoro legale, i dataset e i modelli attuali sono strettamente focalizzati su sottocompiti isolati e non riescono a catturare il processo decisionale end-to-end necessario nella pratica reale. Per colmare questa lacuna, introduciamo LawFlow, un dataset di flussi di lavoro legali completi end-to-end raccolti da studenti di legge formati, basati su scenari reali di costituzione di entità aziendali. A differenza dei dataset precedenti focalizzati su coppie input-output o catene di pensiero lineari, LawFlow cattura processi di ragionamento dinamici, modulari e iterativi che riflettono l'ambiguità, la revisione e le strategie adattive al cliente della pratica legale. Utilizzando LawFlow, confrontiamo i flussi di lavoro generati da esseri umani e da LLM, rivelando differenze sistematiche nella struttura, nella flessibilità del ragionamento e nell'esecuzione del piano. I flussi di lavoro umani tendono a essere modulari e adattivi, mentre quelli degli LLM sono più sequenziali, esaustivi e meno sensibili alle implicazioni a valle. I nostri risultati suggeriscono inoltre che i professionisti legali preferiscono che l'IA svolga ruoli di supporto, come il brainstorming, l'identificazione di punti ciechi e la proposta di alternative, piuttosto che eseguire flussi di lavoro complessi end-to-end. Sulla base di questi risultati, proponiamo una serie di suggerimenti di design, radicati in osservazioni empiriche, che allineano l'assistenza dell'IA con gli obiettivi umani di chiarezza, completezza, creatività ed efficienza, attraverso pianificazione ibrida, esecuzione adattiva e supporto ai punti decisionali. I nostri risultati evidenziano sia le attuali limitazioni degli LLM nel supportare flussi di lavoro legali complessi, sia le opportunità per sviluppare sistemi di IA legale più collaborativi e consapevoli del ragionamento. Tutti i dati e il codice sono disponibili sulla nostra pagina del progetto (https://minnesotanlp.github.io/LawFlow-website/).

English

Legal practitioners, particularly those early in their careers, face complex, high-stakes tasks that require adaptive, context-sensitive reasoning. While AI holds promise in supporting legal work, current datasets and models are narrowly focused on isolated subtasks and fail to capture the end-to-end decision-making required in real-world practice. To address this gap, we introduce LawFlow, a dataset of complete end-to-end legal workflows collected from trained law students, grounded in real-world business entity formation scenarios. Unlike prior datasets focused on input-output pairs or linear chains of thought, LawFlow captures dynamic, modular, and iterative reasoning processes that reflect the ambiguity, revision, and client-adaptive strategies of legal practice. Using LawFlow, we compare human and LLM-generated workflows, revealing systematic differences in structure, reasoning flexibility, and plan execution. Human workflows tend to be modular and adaptive, while LLM workflows are more sequential, exhaustive, and less sensitive to downstream implications. Our findings also suggest that legal professionals prefer AI to carry out supportive roles, such as brainstorming, identifying blind spots, and surfacing alternatives, rather than executing complex workflows end-to-end. Building on these findings, we propose a set of design suggestions, rooted in empirical observations, that align AI assistance with human goals of clarity, completeness, creativity, and efficiency, through hybrid planning, adaptive execution, and decision-point support. Our results highlight both the current limitations of LLMs in supporting complex legal workflows and opportunities for developing more collaborative, reasoning-aware legal AI systems. All data and code are available on our project page (https://minnesotanlp.github.io/LawFlow-website/).