Крупные языковые модели в роли налоговых юристов: исследование возникновения юридических способностей
Large Language Models as Tax Attorneys: A Case Study in Legal Capabilities Emergence
June 12, 2023
Авторы: John J. Nay, David Karamardian, Sarah B. Lawsky, Wenting Tao, Meghana Bhat, Raghav Jain, Aaron Travis Lee, Jonathan H. Choi, Jungo Kasai
cs.AI
Аннотация
Более глубокое понимание способностей крупных языковых моделей (LLM) к юридическому анализу может способствовать повышению эффективности юридических услуг, регулированию искусственного интеллекта и использованию LLM для выявления несоответствий в законодательстве. В данной статье исследуются возможности LLM в применении налогового права. Мы выбрали эту область права, поскольку она имеет структуру, позволяющую настраивать автоматизированные проверочные конвейеры на тысячах примеров, требует логического мышления и математических навыков, а также позволяет тестировать возможности LLM в контексте, актуальном для реальной экономической жизни граждан и компаний. Наши эксперименты демонстрируют развивающиеся способности к юридическому пониманию, с улучшением производительности в каждой последующей версии моделей OpenAI. Мы экспериментируем с извлечением и использованием соответствующей юридической базы для оценки влияния предоставления дополнительного юридического контекста LLM. Также обнаружено, что метод few-shot prompting, представляющий примеры пар "вопрос-ответ", значительно повышает производительность самой передовой модели, GPT-4. Результаты показывают, что LLM, особенно в сочетании с улучшенными методами prompting и правильными юридическими текстами, могут демонстрировать высокую точность, хотя пока и не достигают уровня экспертов-налоговых юристов. По мере дальнейшего развития LLM их способность к автономному анализу права может иметь значительные последствия для юридической профессии и регулирования ИИ.
English
Better understanding of Large Language Models' (LLMs) legal analysis
abilities can contribute to improving the efficiency of legal services,
governing artificial intelligence, and leveraging LLMs to identify
inconsistencies in law. This paper explores LLM capabilities in applying tax
law. We choose this area of law because it has a structure that allows us to
set up automated validation pipelines across thousands of examples, requires
logical reasoning and maths skills, and enables us to test LLM capabilities in
a manner relevant to real-world economic lives of citizens and companies. Our
experiments demonstrate emerging legal understanding capabilities, with
improved performance in each subsequent OpenAI model release. We experiment
with retrieving and utilising the relevant legal authority to assess the impact
of providing additional legal context to LLMs. Few-shot prompting, presenting
examples of question-answer pairs, is also found to significantly enhance the
performance of the most advanced model, GPT-4. The findings indicate that LLMs,
particularly when combined with prompting enhancements and the correct legal
texts, can perform at high levels of accuracy but not yet at expert tax lawyer
levels. As LLMs continue to advance, their ability to reason about law
autonomously could have significant implications for the legal profession and
AI governance.