LawFlow：弁護士の思考プロセスの収集とシミュレーション

要旨

法律実務家、特にキャリア初期の者たちは、適応的で文脈に敏感な推論を必要とする複雑でハイステークスの課題に直面しています。AIは法律業務を支援する可能性を秘めていますが、現在のデータセットやモデルは孤立したサブタスクに焦点を当てており、実世界の実務で求められるエンドツーエンドの意思決定を捉えられていません。このギャップを埋めるため、私たちはLawFlowを導入しました。これは、訓練を受けた法学部生から収集した、実世界の事業体設立シナリオに基づく完全なエンドツーエンドの法律ワークフローのデータセットです。従来の入力-出力ペアや線形の思考連鎖に焦点を当てたデータセットとは異なり、LawFlowは、法律実務の曖昧さ、修正、クライアント適応戦略を反映した、動的でモジュール型かつ反復的な推論プロセスを捉えています。LawFlowを使用して、人間とLLM（大規模言語モデル）が生成したワークフローを比較し、構造、推論の柔軟性、計画実行における体系的な違いを明らかにしました。人間のワークフローはモジュール型で適応的である傾向があるのに対し、LLMのワークフローはより順次的で網羅的であり、下流の影響に対する感度が低いことがわかりました。また、法律専門家は、AIが複雑なワークフローをエンドツーエンドで実行するよりも、ブレインストーミング、盲点の特定、代替案の提示といった支援的な役割を担うことを好むことが示唆されました。これらの知見を基に、私たちは、ハイブリッドプランニング、適応的実行、意思決定ポイントの支援を通じて、AIの支援を人間の目標である明確さ、完全性、創造性、効率性に整合させるための一連の設計提案を、実証的観察に基づいて提案します。私たちの結果は、複雑な法律ワークフローを支援する上でのLLMの現在の限界と、より協調的で推論を意識した法律AIシステムを開発する機会の両方を強調しています。すべてのデータとコードはプロジェクトページ（https://minnesotanlp.github.io/LawFlow-website/）で公開されています。

English

Legal practitioners, particularly those early in their careers, face complex, high-stakes tasks that require adaptive, context-sensitive reasoning. While AI holds promise in supporting legal work, current datasets and models are narrowly focused on isolated subtasks and fail to capture the end-to-end decision-making required in real-world practice. To address this gap, we introduce LawFlow, a dataset of complete end-to-end legal workflows collected from trained law students, grounded in real-world business entity formation scenarios. Unlike prior datasets focused on input-output pairs or linear chains of thought, LawFlow captures dynamic, modular, and iterative reasoning processes that reflect the ambiguity, revision, and client-adaptive strategies of legal practice. Using LawFlow, we compare human and LLM-generated workflows, revealing systematic differences in structure, reasoning flexibility, and plan execution. Human workflows tend to be modular and adaptive, while LLM workflows are more sequential, exhaustive, and less sensitive to downstream implications. Our findings also suggest that legal professionals prefer AI to carry out supportive roles, such as brainstorming, identifying blind spots, and surfacing alternatives, rather than executing complex workflows end-to-end. Building on these findings, we propose a set of design suggestions, rooted in empirical observations, that align AI assistance with human goals of clarity, completeness, creativity, and efficiency, through hybrid planning, adaptive execution, and decision-point support. Our results highlight both the current limitations of LLMs in supporting complex legal workflows and opportunities for developing more collaborative, reasoning-aware legal AI systems. All data and code are available on our project page (https://minnesotanlp.github.io/LawFlow-website/).

LawFlow：弁護士の思考プロセスの収集とシミュレーション

LawFlow : Collecting and Simulating Lawyers' Thought Processes

要旨

Support