LawFlow: Coletando e Simulando os Processos de Pensamento dos Advogados

LawFlow : Collecting and Simulating Lawyers' Thought Processes

April 26, 2025

Autores: Debarati Das, Khanh Chi Le, Ritik Sachin Parkar, Karin De Langis, Brendan Madson, Chad M. Berryman, Robin M. Willis, Daniel H. Moses, Brett McDonnell, Daniel Schwarcz, Dongyeop Kang

cs.AI

Resumo

Profissionais do direito, especialmente aqueles no início de suas carreiras, enfrentam tarefas complexas e de alto risco que exigem raciocínio adaptativo e sensível ao contexto. Embora a IA prometa apoiar o trabalho jurídico, os conjuntos de dados e modelos atuais são focados de maneira restrita em subtarefas isoladas e não conseguem capturar a tomada de decisão de ponta a ponta necessária na prática real. Para abordar essa lacuna, apresentamos o LawFlow, um conjunto de dados de fluxos de trabalho jurídicos completos de ponta a ponta, coletados de estudantes de direito treinados, baseados em cenários reais de formação de entidades empresariais. Diferentemente de conjuntos de dados anteriores focados em pares de entrada-saída ou cadeias lineares de pensamento, o LawFlow captura processos de raciocínio dinâmicos, modulares e iterativos que refletem a ambiguidade, revisão e estratégias adaptativas ao cliente da prática jurídica. Usando o LawFlow, comparamos fluxos de trabalho gerados por humanos e por LLMs (Large Language Models), revelando diferenças sistemáticas na estrutura, flexibilidade de raciocínio e execução de planos. Os fluxos de trabalho humanos tendem a ser modulares e adaptativos, enquanto os fluxos de trabalho de LLMs são mais sequenciais, exaustivos e menos sensíveis às implicações futuras. Nossas descobertas também sugerem que os profissionais do direito preferem que a IA desempenhe papéis de apoio, como brainstorming, identificação de pontos cegos e apresentação de alternativas, em vez de executar fluxos de trabalho complexos de ponta a ponta. Com base nessas descobertas, propomos um conjunto de sugestões de design, enraizadas em observações empíricas, que alinham a assistência da IA com os objetivos humanos de clareza, completude, criatividade e eficiência, por meio de planejamento híbrido, execução adaptativa e suporte a pontos de decisão. Nossos resultados destacam tanto as limitações atuais dos LLMs no suporte a fluxos de trabalho jurídicos complexos quanto as oportunidades para desenvolver sistemas de IA jurídica mais colaborativos e conscientes do raciocínio. Todos os dados e códigos estão disponíveis em nossa página do projeto (https://minnesotanlp.github.io/LawFlow-website/).

English

Legal practitioners, particularly those early in their careers, face complex, high-stakes tasks that require adaptive, context-sensitive reasoning. While AI holds promise in supporting legal work, current datasets and models are narrowly focused on isolated subtasks and fail to capture the end-to-end decision-making required in real-world practice. To address this gap, we introduce LawFlow, a dataset of complete end-to-end legal workflows collected from trained law students, grounded in real-world business entity formation scenarios. Unlike prior datasets focused on input-output pairs or linear chains of thought, LawFlow captures dynamic, modular, and iterative reasoning processes that reflect the ambiguity, revision, and client-adaptive strategies of legal practice. Using LawFlow, we compare human and LLM-generated workflows, revealing systematic differences in structure, reasoning flexibility, and plan execution. Human workflows tend to be modular and adaptive, while LLM workflows are more sequential, exhaustive, and less sensitive to downstream implications. Our findings also suggest that legal professionals prefer AI to carry out supportive roles, such as brainstorming, identifying blind spots, and surfacing alternatives, rather than executing complex workflows end-to-end. Building on these findings, we propose a set of design suggestions, rooted in empirical observations, that align AI assistance with human goals of clarity, completeness, creativity, and efficiency, through hybrid planning, adaptive execution, and decision-point support. Our results highlight both the current limitations of LLMs in supporting complex legal workflows and opportunities for developing more collaborative, reasoning-aware legal AI systems. All data and code are available on our project page (https://minnesotanlp.github.io/LawFlow-website/).