Расшифровка доменной адаптации послетренировочных процессов для финансовых LLM-моделей

Demystifying Domain-adaptive Post-training for Financial LLMs

January 9, 2025

Авторы: Zixuan Ke, Yifei Ming, Xuan-Phi Nguyen, Caiming Xiong, Shafiq Joty

cs.AI

Аннотация

Доменно-адаптивное послетренировочное обучение больших языковых моделей (LLM) стало перспективным подходом для специализированных областей, таких как медицина и финансы. Однако остаются значительные вызовы в определении оптимальных критериев адаптации и стратегий обучения при различных данных и конфигурациях моделей. Для решения этих проблем мы представляем FINDAP - систематическое и детальное исследование доменно-адаптивного послетренировочного обучения LLM для финансовой сферы. Наш подход начинается с определения основных возможностей, необходимых для целевого домена, и разработки комплексного набора оценок, соответствующего этим потребностям. Затем мы анализируем эффективность ключевых этапов послетренировочного обучения, включая непрерывное предварительное обучение, настройку инструкций и выравнивание предпочтений. Основываясь на этих исследованиях, мы предлагаем эффективный метод обучения, сосредоточенный на новом методе дистилляции предпочтений данных, который использует сигналы процесса от генеративной модели вознаграждения. Полученная модель, Llama-Fin, достигает передовых результатов на широком спектре финансовых задач. Наш анализ также подчеркивает, как каждый этап послетренировочного обучения способствует различным возможностям, выявляя конкретные вызовы и эффективные решения, предоставляя ценные идеи для адаптации домена LLM. Страница проекта: https://github.com/SalesforceAIResearch/FinDap

English

Domain-adaptive post-training of large language models (LLMs) has emerged as a promising approach for specialized domains such as medicine and finance. However, significant challenges remain in identifying optimal adaptation criteria and training strategies across varying data and model configurations. To address these challenges, we introduce FINDAP, a systematic and fine-grained investigation into domain-adaptive post-training of LLMs for the finance domain. Our approach begins by identifying the core capabilities required for the target domain and designing a comprehensive evaluation suite aligned with these needs. We then analyze the effectiveness of key post-training stages, including continual pretraining, instruction tuning, and preference alignment. Building on these insights, we propose an effective training recipe centered on a novel preference data distillation method, which leverages process signals from a generative reward model. The resulting model, Llama-Fin, achieves state-of-the-art performance across a wide range of financial tasks. Our analysis also highlights how each post-training stage contributes to distinct capabilities, uncovering specific challenges and effective solutions, providing valuable insights for domain adaptation of LLMs. Project page: https://github.com/SalesforceAIResearch/FinDap