LawFlow: Erfassung und Simulation der Denkprozesse von Anwälten

LawFlow : Collecting and Simulating Lawyers' Thought Processes

April 26, 2025

Autoren: Debarati Das, Khanh Chi Le, Ritik Sachin Parkar, Karin De Langis, Brendan Madson, Chad M. Berryman, Robin M. Willis, Daniel H. Moses, Brett McDonnell, Daniel Schwarcz, Dongyeop Kang

cs.AI

Zusammenfassung

Rechtsanwender, insbesondere diejenigen am Anfang ihrer Karriere, stehen vor komplexen, hochriskanten Aufgaben, die adaptives, kontextsensitives Denken erfordern. Während KI Potenzial bietet, um juristische Arbeit zu unterstützen, sind aktuelle Datensätze und Modelle eng auf isolierte Teilaufgaben fokussiert und erfassen nicht die end-to-end Entscheidungsfindung, die in der Praxis erforderlich ist. Um diese Lücke zu schließen, stellen wir LawFlow vor, einen Datensatz vollständiger end-to-end juristischer Arbeitsabläufe, der von ausgebildeten Jurastudenten in realen Szenarien der Unternehmensgründung erstellt wurde. Im Gegensatz zu früheren Datensätzen, die sich auf Eingabe-Ausgabe-Paare oder lineare Gedankenketten konzentrierten, erfasst LawFlow dynamische, modulare und iterative Denkprozesse, die die Mehrdeutigkeit, Überarbeitung und kundenadaptive Strategien der juristischen Praxis widerspiegeln. Mit LawFlow vergleichen wir menschliche und KI-generierte Arbeitsabläufe und zeigen systematische Unterschiede in Struktur, Denkflexibilität und Planausführung auf. Menschliche Arbeitsabläufe sind tendenziell modular und adaptiv, während KI-Arbeitsabläufe sequenzieller, erschöpfender und weniger sensibel für nachgelagerte Auswirkungen sind. Unsere Ergebnisse deuten auch darauf hin, dass juristische Fachkräfte es bevorzugen, wenn KI unterstützende Rollen übernimmt, wie z.B. Brainstorming, das Aufdecken von blinden Flecken und das Aufzeigen von Alternativen, anstatt komplexe Arbeitsabläufe end-to-end auszuführen. Basierend auf diesen Erkenntnissen schlagen wir eine Reihe von Designvorschlägen vor, die auf empirischen Beobachtungen beruhen und KI-Unterstützung mit menschlichen Zielen wie Klarheit, Vollständigkeit, Kreativität und Effizienz durch hybride Planung, adaptive Ausführung und Entscheidungspunktunterstützung in Einklang bringen. Unsere Ergebnisse verdeutlichen sowohl die aktuellen Grenzen von KI-Modellen bei der Unterstützung komplexer juristischer Arbeitsabläufe als auch die Möglichkeiten zur Entwicklung kollaborativerer, denkbewusster juristischer KI-Systeme. Alle Daten und Codes sind auf unserer Projektseite verfügbar (https://minnesotanlp.github.io/LawFlow-website/).

English

Legal practitioners, particularly those early in their careers, face complex, high-stakes tasks that require adaptive, context-sensitive reasoning. While AI holds promise in supporting legal work, current datasets and models are narrowly focused on isolated subtasks and fail to capture the end-to-end decision-making required in real-world practice. To address this gap, we introduce LawFlow, a dataset of complete end-to-end legal workflows collected from trained law students, grounded in real-world business entity formation scenarios. Unlike prior datasets focused on input-output pairs or linear chains of thought, LawFlow captures dynamic, modular, and iterative reasoning processes that reflect the ambiguity, revision, and client-adaptive strategies of legal practice. Using LawFlow, we compare human and LLM-generated workflows, revealing systematic differences in structure, reasoning flexibility, and plan execution. Human workflows tend to be modular and adaptive, while LLM workflows are more sequential, exhaustive, and less sensitive to downstream implications. Our findings also suggest that legal professionals prefer AI to carry out supportive roles, such as brainstorming, identifying blind spots, and surfacing alternatives, rather than executing complex workflows end-to-end. Building on these findings, we propose a set of design suggestions, rooted in empirical observations, that align AI assistance with human goals of clarity, completeness, creativity, and efficiency, through hybrid planning, adaptive execution, and decision-point support. Our results highlight both the current limitations of LLMs in supporting complex legal workflows and opportunities for developing more collaborative, reasoning-aware legal AI systems. All data and code are available on our project page (https://minnesotanlp.github.io/LawFlow-website/).