Große Sprachmodelle als Steueranwälte: Eine Fallstudie zur Entstehung juristischer Fähigkeiten

Large Language Models as Tax Attorneys: A Case Study in Legal Capabilities Emergence

June 12, 2023

Autoren: John J. Nay, David Karamardian, Sarah B. Lawsky, Wenting Tao, Meghana Bhat, Raghav Jain, Aaron Travis Lee, Jonathan H. Choi, Jungo Kasai

cs.AI

Zusammenfassung

Ein besseres Verständnis der Fähigkeiten von Large Language Models (LLMs) in der juristischen Analyse kann dazu beitragen, die Effizienz von Rechtsdienstleistungen zu verbessern, die Regulierung künstlicher Intelligenz zu gestalten und LLMs zu nutzen, um Inkonsistenzen im Recht zu identifizieren. Diese Arbeit untersucht die Fähigkeiten von LLMs bei der Anwendung des Steuerrechts. Wir haben diesen Rechtsbereich gewählt, da er eine Struktur aufweist, die es uns ermöglicht, automatisierte Validierungspipelines über Tausende von Beispielen hinweg einzurichten, logisches Denken und mathematische Fähigkeiten erfordert und es uns ermöglicht, die Fähigkeiten von LLMs in einer Weise zu testen, die für das reale wirtschaftliche Leben von Bürgern und Unternehmen relevant ist. Unsere Experimente zeigen aufkommende Fähigkeiten im juristischen Verständnis, mit verbesserter Leistung bei jeder nachfolgenden Veröffentlichung von OpenAI-Modellen. Wir experimentieren mit dem Abrufen und Nutzen der relevanten Rechtsgrundlage, um die Auswirkungen der Bereitstellung zusätzlichen juristischen Kontexts für LLMs zu bewerten. Few-Shot-Prompting, bei dem Beispiele für Frage-Antwort-Paare präsentiert werden, verbessert ebenfalls die Leistung des fortschrittlichsten Modells, GPT-4, erheblich. Die Ergebnisse zeigen, dass LLMs, insbesondere in Kombination mit Prompting-Verbesserungen und den richtigen Rechtstexten, auf einem hohen Genauigkeitsniveau arbeiten können, jedoch noch nicht auf dem Niveau eines Experten für Steuerrecht. Da sich LLMs weiterentwickeln, könnte ihre Fähigkeit, autonom über Recht zu schlussfolgern, erhebliche Auswirkungen auf den juristischen Berufsstand und die KI-Regulierung haben.

English

Better understanding of Large Language Models' (LLMs) legal analysis abilities can contribute to improving the efficiency of legal services, governing artificial intelligence, and leveraging LLMs to identify inconsistencies in law. This paper explores LLM capabilities in applying tax law. We choose this area of law because it has a structure that allows us to set up automated validation pipelines across thousands of examples, requires logical reasoning and maths skills, and enables us to test LLM capabilities in a manner relevant to real-world economic lives of citizens and companies. Our experiments demonstrate emerging legal understanding capabilities, with improved performance in each subsequent OpenAI model release. We experiment with retrieving and utilising the relevant legal authority to assess the impact of providing additional legal context to LLMs. Few-shot prompting, presenting examples of question-answer pairs, is also found to significantly enhance the performance of the most advanced model, GPT-4. The findings indicate that LLMs, particularly when combined with prompting enhancements and the correct legal texts, can perform at high levels of accuracy but not yet at expert tax lawyer levels. As LLMs continue to advance, their ability to reason about law autonomously could have significant implications for the legal profession and AI governance.