Modelos de Linguagem de Grande Porte como Advogados Tributários: Um Estudo de Caso sobre a Emergência de Capacidades Jurídicas

Large Language Models as Tax Attorneys: A Case Study in Legal Capabilities Emergence

June 12, 2023

Autores: John J. Nay, David Karamardian, Sarah B. Lawsky, Wenting Tao, Meghana Bhat, Raghav Jain, Aaron Travis Lee, Jonathan H. Choi, Jungo Kasai

cs.AI

Resumo

Uma melhor compreensão das habilidades de análise jurídica dos Modelos de Linguagem de Grande Escala (LLMs) pode contribuir para melhorar a eficiência dos serviços jurídicos, governar a inteligência artificial e aproveitar os LLMs para identificar inconsistências na lei. Este artigo explora as capacidades dos LLMs na aplicação da legislação tributária. Escolhemos essa área do direito porque ela possui uma estrutura que nos permite configurar pipelines de validação automatizados em milhares de exemplos, exige raciocínio lógico e habilidades matemáticas, e nos permite testar as capacidades dos LLMs de uma maneira relevante para as vidas econômicas reais de cidadãos e empresas. Nossos experimentos demonstram capacidades emergentes de compreensão jurídica, com desempenho aprimorado em cada lançamento subsequente de modelos da OpenAI. Experimentamos com a recuperação e utilização da autoridade legal relevante para avaliar o impacto de fornecer contexto jurídico adicional aos LLMs. O prompting de poucos exemplos, apresentando pares de perguntas e respostas, também foi encontrado para melhorar significativamente o desempenho do modelo mais avançado, GPT-4. Os resultados indicam que os LLMs, particularmente quando combinados com aprimoramentos de prompting e os textos jurídicos corretos, podem atingir altos níveis de precisão, mas ainda não em níveis de um especialista em direito tributário. À medida que os LLMs continuam a avançar, sua capacidade de raciocinar sobre a lei de forma autônoma pode ter implicações significativas para a profissão jurídica e a governança da IA.

English

Better understanding of Large Language Models' (LLMs) legal analysis abilities can contribute to improving the efficiency of legal services, governing artificial intelligence, and leveraging LLMs to identify inconsistencies in law. This paper explores LLM capabilities in applying tax law. We choose this area of law because it has a structure that allows us to set up automated validation pipelines across thousands of examples, requires logical reasoning and maths skills, and enables us to test LLM capabilities in a manner relevant to real-world economic lives of citizens and companies. Our experiments demonstrate emerging legal understanding capabilities, with improved performance in each subsequent OpenAI model release. We experiment with retrieving and utilising the relevant legal authority to assess the impact of providing additional legal context to LLMs. Few-shot prompting, presenting examples of question-answer pairs, is also found to significantly enhance the performance of the most advanced model, GPT-4. The findings indicate that LLMs, particularly when combined with prompting enhancements and the correct legal texts, can perform at high levels of accuracy but not yet at expert tax lawyer levels. As LLMs continue to advance, their ability to reason about law autonomously could have significant implications for the legal profession and AI governance.