Démystification de l'adaptation de domaine post-entraînement pour les LLM financiers

Demystifying Domain-adaptive Post-training for Financial LLMs

January 9, 2025

Auteurs: Zixuan Ke, Yifei Ming, Xuan-Phi Nguyen, Caiming Xiong, Shafiq Joty

cs.AI

Résumé

L'adaptation de domaine post-entraînement des grands modèles de langage (LLM) est apparue comme une approche prometteuse pour des domaines spécialisés tels que la médecine et la finance. Cependant, des défis importants persistent dans l'identification des critères d'adaptation optimaux et des stratégies d'entraînement adaptées à différentes configurations de données et de modèles. Pour relever ces défis, nous introduisons FINDAP, une investigation systématique et détaillée de l'adaptation de domaine post-entraînement des LLM pour le domaine financier. Notre approche commence par identifier les capacités essentielles requises pour le domaine cible et concevoir une suite d'évaluation complète alignée sur ces besoins. Nous analysons ensuite l'efficacité des étapes clés du post-entraînement, y compris le pré-entraînement continu, l'ajustement des instructions et l'alignement des préférences. En nous appuyant sur ces connaissances, nous proposons une recette d'entraînement efficace centrée sur une nouvelle méthode de distillation des données de préférence, qui exploite les signaux de processus d'un modèle de récompense génératif. Le modèle résultant, Llama-Fin, atteint des performances de pointe sur une large gamme de tâches financières. Notre analyse met également en lumière comment chaque étape de post-entraînement contribue à des capacités distinctes, révélant des défis spécifiques et des solutions efficaces, offrant des perspectives précieuses pour l'adaptation de domaine des LLM. Page du projet : https://github.com/SalesforceAIResearch/FinDap

English

Domain-adaptive post-training of large language models (LLMs) has emerged as a promising approach for specialized domains such as medicine and finance. However, significant challenges remain in identifying optimal adaptation criteria and training strategies across varying data and model configurations. To address these challenges, we introduce FINDAP, a systematic and fine-grained investigation into domain-adaptive post-training of LLMs for the finance domain. Our approach begins by identifying the core capabilities required for the target domain and designing a comprehensive evaluation suite aligned with these needs. We then analyze the effectiveness of key post-training stages, including continual pretraining, instruction tuning, and preference alignment. Building on these insights, we propose an effective training recipe centered on a novel preference data distillation method, which leverages process signals from a generative reward model. The resulting model, Llama-Fin, achieves state-of-the-art performance across a wide range of financial tasks. Our analysis also highlights how each post-training stage contributes to distinct capabilities, uncovering specific challenges and effective solutions, providing valuable insights for domain adaptation of LLMs. Project page: https://github.com/SalesforceAIResearch/FinDap