데이터 중심 금융 대형 언어 모델

초록

대규모 언어 모델(LLM)은 자연어 처리 작업에서 유망한 성과를 보이지만, 금융과 같은 복잡한 도메인에 직접 적용할 때는 어려움을 겪습니다. LLM은 관련 정보를 추론하고 통합하는 데 어려움을 보입니다. 우리는 LLM이 금융 작업을 더 잘 처리할 수 있도록 데이터 중심 접근 방식을 제안합니다. 핵심 통찰은 LLM에 모든 것을 한꺼번에 과부하시키는 대신, 데이터를 사전 처리하고 사전 이해하는 것이 더 효과적이라는 것입니다. 우리는 다중 작업 프롬프트 기반 미세 조정을 사용하여 데이터 전처리 및 사전 이해를 달성하는 금융 LLM(FLLM)을 생성합니다. 그러나 각 작업에 대한 레이블 데이터는 부족합니다. 수동 주석 비용을 극복하기 위해, 우리는 FLLM의 출력에서 얻은 가짜 레이블을 수정하여 자동으로 훈련 데이터를 생성하는 귀추적 증강 추론(AAR)을 사용합니다. 실험 결과, AAR을 적용한 데이터 중심 FLLM은 원시 텍스트를 위해 설계된 기존 금융 LLM을 크게 능가하며, 금융 분석 및 해석 작업에서 최첨단 성능을 달성합니다. 또한, 우리는 금융 분석 및 해석을 위한 새로운 벤치마크를 오픈소스로 공개합니다. 우리의 방법론은 복잡한 현실 세계 도메인에서 LLM의 잠재력을 발휘할 수 있는 유망한 길을 제시합니다.

English

Large language models (LLMs) show promise for natural language tasks but struggle when applied directly to complex domains like finance. LLMs have difficulty reasoning about and integrating all relevant information. We propose a data-centric approach to enable LLMs to better handle financial tasks. Our key insight is that rather than overloading the LLM with everything at once, it is more effective to preprocess and pre-understand the data. We create a financial LLM (FLLM) using multitask prompt-based finetuning to achieve data pre-processing and pre-understanding. However, labeled data is scarce for each task. To overcome manual annotation costs, we employ abductive augmentation reasoning (AAR) to automatically generate training data by modifying the pseudo labels from FLLM's own outputs. Experiments show our data-centric FLLM with AAR substantially outperforms baseline financial LLMs designed for raw text, achieving state-of-the-art on financial analysis and interpretation tasks. We also open source a new benchmark for financial analysis and interpretation. Our methodology provides a promising path to unlock LLMs' potential for complex real-world domains.

데이터 중심 금융 대형 언어 모델

Data-Centric Financial Large Language Models

초록

Support