LawFlow: Recopilación y Simulación de los Procesos de Pensamiento de los Abogados

LawFlow : Collecting and Simulating Lawyers' Thought Processes

April 26, 2025

Autores: Debarati Das, Khanh Chi Le, Ritik Sachin Parkar, Karin De Langis, Brendan Madson, Chad M. Berryman, Robin M. Willis, Daniel H. Moses, Brett McDonnell, Daniel Schwarcz, Dongyeop Kang

cs.AI

Resumen

Los profesionales del derecho, especialmente aquellos en las primeras etapas de sus carreras, enfrentan tareas complejas y de alto riesgo que requieren un razonamiento adaptativo y sensible al contexto. Si bien la IA promete apoyar el trabajo legal, los conjuntos de datos y modelos actuales están enfocados de manera limitada en subtareas aisladas y no logran capturar la toma de decisiones integral necesaria en la práctica real. Para abordar esta brecha, presentamos LawFlow, un conjunto de datos de flujos de trabajo legales completos y de principio a fin, recopilados de estudiantes de derecho capacitados, basados en escenarios reales de formación de entidades comerciales. A diferencia de conjuntos de datos anteriores centrados en pares de entrada-salida o cadenas lineales de pensamiento, LawFlow captura procesos de razonamiento dinámicos, modulares e iterativos que reflejan la ambigüedad, la revisión y las estrategias adaptativas al cliente en la práctica legal. Utilizando LawFlow, comparamos flujos de trabajo generados por humanos y por modelos de lenguaje grandes (LLM), revelando diferencias sistemáticas en estructura, flexibilidad de razonamiento y ejecución de planes. Los flujos de trabajo humanos tienden a ser modulares y adaptativos, mientras que los flujos de trabajo de los LLM son más secuenciales, exhaustivos y menos sensibles a las implicaciones posteriores. Nuestros hallazgos también sugieren que los profesionales del derecho prefieren que la IA desempeñe roles de apoyo, como lluvia de ideas, identificación de puntos ciegos y presentación de alternativas, en lugar de ejecutar flujos de trabajo complejos de principio a fin. Basándonos en estos resultados, proponemos un conjunto de sugerencias de diseño, fundamentadas en observaciones empíricas, que alinean la asistencia de IA con los objetivos humanos de claridad, completitud, creatividad y eficiencia, mediante planificación híbrida, ejecución adaptativa y apoyo en puntos de decisión. Nuestros resultados destacan tanto las limitaciones actuales de los LLM para apoyar flujos de trabajo legales complejos como las oportunidades para desarrollar sistemas de IA legal más colaborativos y conscientes del razonamiento. Todos los datos y el código están disponibles en nuestra página del proyecto (https://minnesotanlp.github.io/LawFlow-website/).

English

Legal practitioners, particularly those early in their careers, face complex, high-stakes tasks that require adaptive, context-sensitive reasoning. While AI holds promise in supporting legal work, current datasets and models are narrowly focused on isolated subtasks and fail to capture the end-to-end decision-making required in real-world practice. To address this gap, we introduce LawFlow, a dataset of complete end-to-end legal workflows collected from trained law students, grounded in real-world business entity formation scenarios. Unlike prior datasets focused on input-output pairs or linear chains of thought, LawFlow captures dynamic, modular, and iterative reasoning processes that reflect the ambiguity, revision, and client-adaptive strategies of legal practice. Using LawFlow, we compare human and LLM-generated workflows, revealing systematic differences in structure, reasoning flexibility, and plan execution. Human workflows tend to be modular and adaptive, while LLM workflows are more sequential, exhaustive, and less sensitive to downstream implications. Our findings also suggest that legal professionals prefer AI to carry out supportive roles, such as brainstorming, identifying blind spots, and surfacing alternatives, rather than executing complex workflows end-to-end. Building on these findings, we propose a set of design suggestions, rooted in empirical observations, that align AI assistance with human goals of clarity, completeness, creativity, and efficiency, through hybrid planning, adaptive execution, and decision-point support. Our results highlight both the current limitations of LLMs in supporting complex legal workflows and opportunities for developing more collaborative, reasoning-aware legal AI systems. All data and code are available on our project page (https://minnesotanlp.github.io/LawFlow-website/).