大規模言語モデルを税務弁護士として活用する：法的能力の創発に関する事例研究

Large Language Models as Tax Attorneys: A Case Study in Legal Capabilities Emergence

June 12, 2023

著者: John J. Nay, David Karamardian, Sarah B. Lawsky, Wenting Tao, Meghana Bhat, Raghav Jain, Aaron Travis Lee, Jonathan H. Choi, Jungo Kasai

cs.AI

要旨

大規模言語モデル（LLM）の法的分析能力をより深く理解することは、法律サービスの効率化、人工知能のガバナンス、および法律の不整合を特定するためのLLMの活用に貢献することができる。本論文では、LLMが税法を適用する能力について探求する。この法律分野を選んだ理由は、数千の事例にわたる自動検証パイプラインを構築可能な構造を持ち、論理的推論と数学的スキルを必要とし、市民や企業の現実の経済生活に関連する形でLLMの能力をテストできるためである。我々の実験では、OpenAIの各モデルリリースごとに性能が向上し、新たな法的理解能力が示された。関連する法的権威を取得し活用することで、追加の法的文脈をLLMに提供することの影響を評価した。質問と回答のペアの例を示すFew-shotプロンプティングは、最も先進的なモデルであるGPT-4の性能を大幅に向上させることも明らかになった。研究結果は、特にプロンプティングの強化と適切な法的テキストを組み合わせた場合、LLMが高い精度で機能するが、まだ専門の税務弁護士レベルには達していないことを示している。LLMが進化を続けるにつれ、法律について自律的に推論する能力は、法律専門職やAIガバナンスに重要な影響を与える可能性がある。

English

Better understanding of Large Language Models' (LLMs) legal analysis abilities can contribute to improving the efficiency of legal services, governing artificial intelligence, and leveraging LLMs to identify inconsistencies in law. This paper explores LLM capabilities in applying tax law. We choose this area of law because it has a structure that allows us to set up automated validation pipelines across thousands of examples, requires logical reasoning and maths skills, and enables us to test LLM capabilities in a manner relevant to real-world economic lives of citizens and companies. Our experiments demonstrate emerging legal understanding capabilities, with improved performance in each subsequent OpenAI model release. We experiment with retrieving and utilising the relevant legal authority to assess the impact of providing additional legal context to LLMs. Few-shot prompting, presenting examples of question-answer pairs, is also found to significantly enhance the performance of the most advanced model, GPT-4. The findings indicate that LLMs, particularly when combined with prompting enhancements and the correct legal texts, can perform at high levels of accuracy but not yet at expert tax lawyer levels. As LLMs continue to advance, their ability to reason about law autonomously could have significant implications for the legal profession and AI governance.