Modelos de Linguagem de Grande Escala Centrados em Dados Financeiros

Data-Centric Financial Large Language Models

October 7, 2023

Autores: Zhixuan Chu, Huaiyu Guo, Xinyuan Zhou, Yijia Wang, Fei Yu, Hong Chen, Wanqing Xu, Xin Lu, Qing Cui, Longfei Li, Jun Zhou, Sheng Li

cs.AI

Resumo

Modelos de linguagem de grande escala (LLMs) mostram potencial para tarefas de processamento de linguagem natural, mas enfrentam dificuldades quando aplicados diretamente a domínios complexos como finanças. Os LLMs têm dificuldade em raciocinar e integrar todas as informações relevantes. Propomos uma abordagem centrada em dados para permitir que os LLMs lidem melhor com tarefas financeiras. Nossa principal percepção é que, em vez de sobrecarregar o LLM com tudo de uma vez, é mais eficaz pré-processar e pré-compreender os dados. Criamos um LLM financeiro (FLLM) usando ajuste fino baseado em prompts multitarefa para alcançar o pré-processamento e pré-compreensão dos dados. No entanto, dados rotulados são escassos para cada tarefa. Para superar os custos de anotação manual, empregamos o raciocínio de aumento abdutivo (AAR) para gerar automaticamente dados de treinamento, modificando os rótulos pseudo a partir das próprias saídas do FLLM. Experimentos mostram que nosso FLLM centrado em dados com AAR supera substancialmente os LLMs financeiros de linha de base projetados para texto bruto, alcançando o estado da arte em tarefas de análise e interpretação financeira. Também disponibilizamos publicamente um novo benchmark para análise e interpretação financeira. Nossa metodologia oferece um caminho promissor para desbloquear o potencial dos LLMs em domínios complexos do mundo real.

English

Large language models (LLMs) show promise for natural language tasks but struggle when applied directly to complex domains like finance. LLMs have difficulty reasoning about and integrating all relevant information. We propose a data-centric approach to enable LLMs to better handle financial tasks. Our key insight is that rather than overloading the LLM with everything at once, it is more effective to preprocess and pre-understand the data. We create a financial LLM (FLLM) using multitask prompt-based finetuning to achieve data pre-processing and pre-understanding. However, labeled data is scarce for each task. To overcome manual annotation costs, we employ abductive augmentation reasoning (AAR) to automatically generate training data by modifying the pseudo labels from FLLM's own outputs. Experiments show our data-centric FLLM with AAR substantially outperforms baseline financial LLMs designed for raw text, achieving state-of-the-art on financial analysis and interpretation tasks. We also open source a new benchmark for financial analysis and interpretation. Our methodology provides a promising path to unlock LLMs' potential for complex real-world domains.