Modèles de langage financiers à grande échelle centrés sur les données

papers.abstract

Les grands modèles de langage (LLM) montrent des promesses pour les tâches de traitement du langage naturel mais peinent lorsqu'ils sont appliqués directement à des domaines complexes comme la finance. Les LLM ont des difficultés à raisonner et à intégrer toutes les informations pertinentes. Nous proposons une approche centrée sur les données pour permettre aux LLM de mieux gérer les tâches financières. Notre idée clé est qu'au lieu de surcharger le LLM avec tout en une seule fois, il est plus efficace de prétraiter et de précomprendre les données. Nous créons un LLM financier (FLLM) en utilisant un ajustement fin basé sur des invites multitâches pour réaliser le prétraitement et la précompréhension des données. Cependant, les données étiquetées sont rares pour chaque tâche. Pour surmonter les coûts d'annotation manuelle, nous employons un raisonnement d'augmentation abductive (AAR) pour générer automatiquement des données d'entraînement en modifiant les étiquettes pseudo issues des sorties du FLLM lui-même. Les expériences montrent que notre FLLM centré sur les données avec AAR surpasse largement les LLM financiers de base conçus pour le texte brut, atteignant des performances de pointe sur les tâches d'analyse et d'interprétation financières. Nous ouvrons également un nouveau benchmark pour l'analyse et l'interprétation financières. Notre méthodologie offre une voie prometteuse pour débloquer le potentiel des LLM dans des domaines complexes du monde réel.

English

Large language models (LLMs) show promise for natural language tasks but struggle when applied directly to complex domains like finance. LLMs have difficulty reasoning about and integrating all relevant information. We propose a data-centric approach to enable LLMs to better handle financial tasks. Our key insight is that rather than overloading the LLM with everything at once, it is more effective to preprocess and pre-understand the data. We create a financial LLM (FLLM) using multitask prompt-based finetuning to achieve data pre-processing and pre-understanding. However, labeled data is scarce for each task. To overcome manual annotation costs, we employ abductive augmentation reasoning (AAR) to automatically generate training data by modifying the pseudo labels from FLLM's own outputs. Experiments show our data-centric FLLM with AAR substantially outperforms baseline financial LLMs designed for raw text, achieving state-of-the-art on financial analysis and interpretation tasks. We also open source a new benchmark for financial analysis and interpretation. Our methodology provides a promising path to unlock LLMs' potential for complex real-world domains.

Modèles de langage financiers à grande échelle centrés sur les données

Data-Centric Financial Large Language Models

papers.abstract

Support