Desmitificando el Post-entrenamiento Adaptativo de Dominio para Modelos de Lenguaje de Mercados Financieros

Demystifying Domain-adaptive Post-training for Financial LLMs

January 9, 2025

Autores: Zixuan Ke, Yifei Ming, Xuan-Phi Nguyen, Caiming Xiong, Shafiq Joty

cs.AI

Resumen

El post-entrenamiento adaptativo de modelos de lenguaje grandes (LLMs) ha surgido como un enfoque prometedor para dominios especializados como la medicina y las finanzas. Sin embargo, persisten desafíos significativos en la identificación de criterios óptimos de adaptación y estrategias de entrenamiento en diferentes configuraciones de datos y modelos. Para abordar estos desafíos, presentamos FINDAP, una investigación sistemática y detallada sobre el post-entrenamiento adaptativo de LLMs para el dominio financiero. Nuestro enfoque comienza identificando las capacidades fundamentales requeridas para el dominio objetivo y diseñando una suite de evaluación integral alineada con estas necesidades. Luego analizamos la efectividad de etapas clave de post-entrenamiento, incluyendo el preentrenamiento continuo, ajuste de instrucciones y alineación de preferencias. Basándonos en estos conocimientos, proponemos una receta de entrenamiento efectiva centrada en un novedoso método de destilación de datos de preferencias, que aprovecha señales de proceso de un modelo generativo de recompensas. El modelo resultante, Llama-Fin, logra un rendimiento de vanguardia en una amplia gama de tareas financieras. Nuestro análisis también destaca cómo cada etapa de post-entrenamiento contribuye a capacidades distintas, revelando desafíos específicos y soluciones efectivas, proporcionando información valiosa para la adaptación de dominio de LLMs. Página del proyecto: https://github.com/SalesforceAIResearch/FinDap

English

Domain-adaptive post-training of large language models (LLMs) has emerged as a promising approach for specialized domains such as medicine and finance. However, significant challenges remain in identifying optimal adaptation criteria and training strategies across varying data and model configurations. To address these challenges, we introduce FINDAP, a systematic and fine-grained investigation into domain-adaptive post-training of LLMs for the finance domain. Our approach begins by identifying the core capabilities required for the target domain and designing a comprehensive evaluation suite aligned with these needs. We then analyze the effectiveness of key post-training stages, including continual pretraining, instruction tuning, and preference alignment. Building on these insights, we propose an effective training recipe centered on a novel preference data distillation method, which leverages process signals from a generative reward model. The resulting model, Llama-Fin, achieves state-of-the-art performance across a wide range of financial tasks. Our analysis also highlights how each post-training stage contributes to distinct capabilities, uncovering specific challenges and effective solutions, providing valuable insights for domain adaptation of LLMs. Project page: https://github.com/SalesforceAIResearch/FinDap