Modelos de Lenguaje de Gran Escala Centrados en Datos para Finanzas

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) muestran potencial para tareas de lenguaje natural, pero enfrentan dificultades cuando se aplican directamente a dominios complejos como las finanzas. Los LLMs tienen problemas para razonar e integrar toda la información relevante. Proponemos un enfoque centrado en los datos para permitir que los LLMs manejen mejor las tareas financieras. Nuestra idea clave es que, en lugar de sobrecargar el LLM con todo a la vez, es más efectivo preprocesar y precomprender los datos. Creamos un LLM financiero (FLLM) utilizando un ajuste fino basado en indicaciones multitarea para lograr el preprocesamiento y la precomprensión de los datos. Sin embargo, los datos etiquetados son escasos para cada tarea. Para superar los costos de anotación manual, empleamos el razonamiento de aumento abductivo (AAR, por sus siglas en inglés) para generar automáticamente datos de entrenamiento modificando las etiquetas pseudo generadas a partir de las propias salidas del FLLM. Los experimentos muestran que nuestro FLLM centrado en datos con AAR supera sustancialmente a los LLMs financieros de referencia diseñados para texto sin procesar, logrando un rendimiento de vanguardia en tareas de análisis e interpretación financiera. También publicamos un nuevo punto de referencia de código abierto para el análisis e interpretación financiera. Nuestra metodología proporciona un camino prometedor para desbloquear el potencial de los LLMs en dominios complejos del mundo real.

English

Large language models (LLMs) show promise for natural language tasks but struggle when applied directly to complex domains like finance. LLMs have difficulty reasoning about and integrating all relevant information. We propose a data-centric approach to enable LLMs to better handle financial tasks. Our key insight is that rather than overloading the LLM with everything at once, it is more effective to preprocess and pre-understand the data. We create a financial LLM (FLLM) using multitask prompt-based finetuning to achieve data pre-processing and pre-understanding. However, labeled data is scarce for each task. To overcome manual annotation costs, we employ abductive augmentation reasoning (AAR) to automatically generate training data by modifying the pseudo labels from FLLM's own outputs. Experiments show our data-centric FLLM with AAR substantially outperforms baseline financial LLMs designed for raw text, achieving state-of-the-art on financial analysis and interpretation tasks. We also open source a new benchmark for financial analysis and interpretation. Our methodology provides a promising path to unlock LLMs' potential for complex real-world domains.

Modelos de Lenguaje de Gran Escala Centrados en Datos para Finanzas

Data-Centric Financial Large Language Models

Resumen

Support