Les grands modèles de langage en tant qu'avocats fiscaux : une étude de cas sur l'émergence des capacités juridiques

Large Language Models as Tax Attorneys: A Case Study in Legal Capabilities Emergence

June 12, 2023

Auteurs: John J. Nay, David Karamardian, Sarah B. Lawsky, Wenting Tao, Meghana Bhat, Raghav Jain, Aaron Travis Lee, Jonathan H. Choi, Jungo Kasai

cs.AI

Résumé

Une meilleure compréhension des capacités d'analyse juridique des modèles de langage de grande taille (LLMs) peut contribuer à améliorer l'efficacité des services juridiques, à encadrer l'intelligence artificielle, et à exploiter les LLMs pour identifier les incohérences dans la loi. Cet article explore les capacités des LLMs dans l'application du droit fiscal. Nous avons choisi ce domaine du droit car il possède une structure qui permet de mettre en place des pipelines de validation automatisés sur des milliers d'exemples, nécessite un raisonnement logique et des compétences en mathématiques, et nous permet de tester les capacités des LLMs d'une manière pertinente pour la vie économique réelle des citoyens et des entreprises. Nos expériences démontrent des capacités émergentes de compréhension juridique, avec une amélioration des performances à chaque nouvelle version des modèles OpenAI. Nous expérimentons la récupération et l'utilisation de l'autorité juridique pertinente pour évaluer l'impact de fournir un contexte juridique supplémentaire aux LLMs. Le prompting en few-shot, qui consiste à présenter des exemples de paires question-réponse, s'avère également significativement améliorer les performances du modèle le plus avancé, GPT-4. Les résultats indiquent que les LLMs, en particulier lorsqu'ils sont combinés avec des améliorations de prompting et les textes juridiques appropriés, peuvent atteindre des niveaux de précision élevés, mais pas encore au niveau d'un expert fiscaliste. À mesure que les LLMs continuent de progresser, leur capacité à raisonner de manière autonome sur le droit pourrait avoir des implications significatives pour la profession juridique et la gouvernance de l'IA.

English

Better understanding of Large Language Models' (LLMs) legal analysis abilities can contribute to improving the efficiency of legal services, governing artificial intelligence, and leveraging LLMs to identify inconsistencies in law. This paper explores LLM capabilities in applying tax law. We choose this area of law because it has a structure that allows us to set up automated validation pipelines across thousands of examples, requires logical reasoning and maths skills, and enables us to test LLM capabilities in a manner relevant to real-world economic lives of citizens and companies. Our experiments demonstrate emerging legal understanding capabilities, with improved performance in each subsequent OpenAI model release. We experiment with retrieving and utilising the relevant legal authority to assess the impact of providing additional legal context to LLMs. Few-shot prompting, presenting examples of question-answer pairs, is also found to significantly enhance the performance of the most advanced model, GPT-4. The findings indicate that LLMs, particularly when combined with prompting enhancements and the correct legal texts, can perform at high levels of accuracy but not yet at expert tax lawyer levels. As LLMs continue to advance, their ability to reason about law autonomously could have significant implications for the legal profession and AI governance.