LawFlow: Сбор и моделирование мыслительных процессов юристов

LawFlow : Collecting and Simulating Lawyers' Thought Processes

April 26, 2025

Авторы: Debarati Das, Khanh Chi Le, Ritik Sachin Parkar, Karin De Langis, Brendan Madson, Chad M. Berryman, Robin M. Willis, Daniel H. Moses, Brett McDonnell, Daniel Schwarcz, Dongyeop Kang

cs.AI

Аннотация

Юридические специалисты, особенно те, кто только начинает свою карьеру, сталкиваются со сложными, высокоответственными задачами, требующими адаптивного, контекстно-зависимого мышления. Хотя искусственный интеллект (ИИ) обещает поддержку в юридической работе, текущие наборы данных и модели узко сфокусированы на изолированных подзадачах и не охватывают сквозного процесса принятия решений, необходимого в реальной практике. Чтобы устранить этот пробел, мы представляем LawFlow — набор данных, содержащий полные сквозные юридические рабочие процессы, собранные у подготовленных студентов-юристов, основанные на реальных сценариях создания бизнес-структур. В отличие от предыдущих наборов данных, ориентированных на пары "вход-выход" или линейные цепочки рассуждений, LawFlow фиксирует динамические, модульные и итеративные процессы мышления, отражающие неоднозначность, пересмотр и клиентоориентированные стратегии юридической практики. Используя LawFlow, мы сравниваем рабочие процессы, созданные людьми и языковыми моделями (LLM), выявляя систематические различия в структуре, гибкости рассуждений и выполнении планов. Человеческие рабочие процессы, как правило, модульные и адаптивные, тогда как рабочие процессы LLM более последовательные, исчерпывающие и менее чувствительные к последствиям на последующих этапах. Наши результаты также показывают, что юридические специалисты предпочитают, чтобы ИИ выполнял поддерживающие роли, такие как мозговой штурм, выявление слепых зон и предложение альтернатив, а не реализовывал сложные рабочие процессы от начала до конца. Основываясь на этих выводах, мы предлагаем набор рекомендаций по проектированию, основанных на эмпирических наблюдениях, которые согласуют помощь ИИ с человеческими целями ясности, полноты, креативности и эффективности через гибридное планирование, адаптивное выполнение и поддержку в точках принятия решений. Наши результаты подчеркивают как текущие ограничения LLM в поддержке сложных юридических рабочих процессов, так и возможности для разработки более совместных, осознающих рассуждения систем юридического ИИ. Все данные и код доступны на странице нашего проекта (https://minnesotanlp.github.io/LawFlow-website/).

English

Legal practitioners, particularly those early in their careers, face complex, high-stakes tasks that require adaptive, context-sensitive reasoning. While AI holds promise in supporting legal work, current datasets and models are narrowly focused on isolated subtasks and fail to capture the end-to-end decision-making required in real-world practice. To address this gap, we introduce LawFlow, a dataset of complete end-to-end legal workflows collected from trained law students, grounded in real-world business entity formation scenarios. Unlike prior datasets focused on input-output pairs or linear chains of thought, LawFlow captures dynamic, modular, and iterative reasoning processes that reflect the ambiguity, revision, and client-adaptive strategies of legal practice. Using LawFlow, we compare human and LLM-generated workflows, revealing systematic differences in structure, reasoning flexibility, and plan execution. Human workflows tend to be modular and adaptive, while LLM workflows are more sequential, exhaustive, and less sensitive to downstream implications. Our findings also suggest that legal professionals prefer AI to carry out supportive roles, such as brainstorming, identifying blind spots, and surfacing alternatives, rather than executing complex workflows end-to-end. Building on these findings, we propose a set of design suggestions, rooted in empirical observations, that align AI assistance with human goals of clarity, completeness, creativity, and efficiency, through hybrid planning, adaptive execution, and decision-point support. Our results highlight both the current limitations of LLMs in supporting complex legal workflows and opportunities for developing more collaborative, reasoning-aware legal AI systems. All data and code are available on our project page (https://minnesotanlp.github.io/LawFlow-website/).