Modelos de Lenguaje a Gran Escala como Abogados Tributarios: Un Estudio de Caso sobre la Emergencia de Capacidades Legales

Large Language Models as Tax Attorneys: A Case Study in Legal Capabilities Emergence

June 12, 2023

Autores: John J. Nay, David Karamardian, Sarah B. Lawsky, Wenting Tao, Meghana Bhat, Raghav Jain, Aaron Travis Lee, Jonathan H. Choi, Jungo Kasai

cs.AI

Resumen

Una mejor comprensión de las capacidades de análisis legal de los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) puede contribuir a mejorar la eficiencia de los servicios jurídicos, gobernar la inteligencia artificial y aprovechar los LLMs para identificar inconsistencias en la ley. Este artículo explora las capacidades de los LLMs en la aplicación del derecho tributario. Elegimos esta área del derecho porque tiene una estructura que nos permite configurar pipelines de validación automatizados en miles de ejemplos, requiere razonamiento lógico y habilidades matemáticas, y nos permite probar las capacidades de los LLMs de una manera relevante para la vida económica real de ciudadanos y empresas. Nuestros experimentos demuestran capacidades emergentes de comprensión legal, con un rendimiento mejorado en cada nueva versión de los modelos de OpenAI. Experimentamos con la recuperación y utilización de la autoridad legal relevante para evaluar el impacto de proporcionar contexto legal adicional a los LLMs. También encontramos que el prompting de pocos ejemplos, presentando pares de preguntas y respuestas, mejora significativamente el rendimiento del modelo más avanzado, GPT-4. Los hallazgos indican que los LLMs, particularmente cuando se combinan con mejoras en el prompting y los textos legales correctos, pueden alcanzar altos niveles de precisión, aunque aún no a niveles de expertos en derecho tributario. A medida que los LLMs continúan avanzando, su capacidad para razonar sobre la ley de manera autónoma podría tener implicaciones significativas para la profesión legal y la gobernanza de la inteligencia artificial.

English

Better understanding of Large Language Models' (LLMs) legal analysis abilities can contribute to improving the efficiency of legal services, governing artificial intelligence, and leveraging LLMs to identify inconsistencies in law. This paper explores LLM capabilities in applying tax law. We choose this area of law because it has a structure that allows us to set up automated validation pipelines across thousands of examples, requires logical reasoning and maths skills, and enables us to test LLM capabilities in a manner relevant to real-world economic lives of citizens and companies. Our experiments demonstrate emerging legal understanding capabilities, with improved performance in each subsequent OpenAI model release. We experiment with retrieving and utilising the relevant legal authority to assess the impact of providing additional legal context to LLMs. Few-shot prompting, presenting examples of question-answer pairs, is also found to significantly enhance the performance of the most advanced model, GPT-4. The findings indicate that LLMs, particularly when combined with prompting enhancements and the correct legal texts, can perform at high levels of accuracy but not yet at expert tax lawyer levels. As LLMs continue to advance, their ability to reason about law autonomously could have significant implications for the legal profession and AI governance.