Grote Taalmodellen als Belastingadvocaten: Een Casestudy naar het Ontstaan van Juridische Vaardigheden

Large Language Models as Tax Attorneys: A Case Study in Legal Capabilities Emergence

June 12, 2023

Auteurs: John J. Nay, David Karamardian, Sarah B. Lawsky, Wenting Tao, Meghana Bhat, Raghav Jain, Aaron Travis Lee, Jonathan H. Choi, Jungo Kasai

cs.AI

Samenvatting

Een beter begrip van de juridische analysevaardigheden van Large Language Models (LLMs) kan bijdragen aan het verbeteren van de efficiëntie van juridische diensten, het reguleren van kunstmatige intelligentie en het benutten van LLMs om inconsistenties in wetgeving te identificeren. Dit artikel onderzoekt de mogelijkheden van LLMs bij de toepassing van belastingrecht. We hebben voor dit rechtsgebied gekozen omdat het een structuur heeft die het mogelijk maakt om geautomatiseerde validatiepijplijnen op te zetten over duizenden voorbeelden, logisch redeneren en wiskundige vaardigheden vereist, en ons in staat stelt om de mogelijkheden van LLMs te testen op een manier die relevant is voor de economische levens van burgers en bedrijven. Onze experimenten tonen opkomende juridische begripsvaardigheden aan, met verbeterde prestaties bij elke nieuwe release van OpenAI-modellen. We experimenteren met het ophalen en gebruiken van de relevante juridische autoriteit om de impact te beoordelen van het verstrekken van aanvullende juridische context aan LLMs. Few-shot prompting, waarbij voorbeelden van vraag-antwoordparen worden gepresenteerd, blijkt ook de prestaties van het meest geavanceerde model, GPT-4, aanzienlijk te verbeteren. De bevindingen geven aan dat LLMs, vooral in combinatie met prompting-verbeteringen en de juiste juridische teksten, op hoog niveau van nauwkeurigheid kunnen presteren, maar nog niet op het niveau van een expert in belastingrecht. Naarmate LLMs zich blijven ontwikkelen, zou hun vermogen om autonoom over wetgeving te redeneren aanzienlijke implicaties kunnen hebben voor het juridische beroep en het bestuur van kunstmatige intelligentie.

English

Better understanding of Large Language Models' (LLMs) legal analysis abilities can contribute to improving the efficiency of legal services, governing artificial intelligence, and leveraging LLMs to identify inconsistencies in law. This paper explores LLM capabilities in applying tax law. We choose this area of law because it has a structure that allows us to set up automated validation pipelines across thousands of examples, requires logical reasoning and maths skills, and enables us to test LLM capabilities in a manner relevant to real-world economic lives of citizens and companies. Our experiments demonstrate emerging legal understanding capabilities, with improved performance in each subsequent OpenAI model release. We experiment with retrieving and utilising the relevant legal authority to assess the impact of providing additional legal context to LLMs. Few-shot prompting, presenting examples of question-answer pairs, is also found to significantly enhance the performance of the most advanced model, GPT-4. The findings indicate that LLMs, particularly when combined with prompting enhancements and the correct legal texts, can perform at high levels of accuracy but not yet at expert tax lawyer levels. As LLMs continue to advance, their ability to reason about law autonomously could have significant implications for the legal profession and AI governance.