Fino1: Zur Übertragbarkeit von Reasoning Enhanced LLMs auf Finanzen

Fino1: On the Transferability of Reasoning Enhanced LLMs to Finance

February 12, 2025

Autoren: Lingfei Qian, Weipeng Zhou, Yan Wang, Xueqing Peng, Jimin Huang, Qianqian Xie

cs.AI

Zusammenfassung

Die jüngsten Fortschritte bei großen Sprachmodellen (LLMs) haben starke allgemeine Argumentationsfähigkeiten gezeigt, aber ihre Wirksamkeit bei finanzieller Argumentation bleibt untererforscht. In dieser Studie bewerten wir umfassend 16 leistungsstarke Argumentations- und allgemeine LLMs in drei komplexen finanziellen Aufgaben, die finanziellen Text, tabellarische Daten und Gleichungen umfassen. Dabei bewerten wir numerische Argumentation, tabellarische Interpretation, das Verständnis finanzieller Terminologie, die Verarbeitung langer Kontexte und die Lösung von Gleichungsproblemen. Unsere Ergebnisse zeigen, dass bessere Datensätze und Vortrainieren die finanzielle Argumentation verbessern, allgemeine Verbesserungen wie CoT Feinabstimmung jedoch nicht immer konsistente Gewinne bringen. Darüber hinaus haben alle Argumentationsstrategien Schwierigkeiten, die Leistung bei langen Kontexten und Aufgaben mit mehreren Tabellen zu verbessern. Um diese Einschränkungen zu adressieren, entwickeln wir ein finanzargumentationsverbessertes Modell basierend auf Llama-3.1-8B-Instruct, durch CoT Feinabstimmung und Verstärkungslernen mit domänenspezifischen Argumentationspfaden. Selbst mit einfacher Feinabstimmung mit einem finanziellen Datensatz erzielt unser Modell eine konsistente Leistungssteigerung von 10 % über alle Aufgaben hinweg, und übertrifft alle 8B-Modelle und sogar Llama3-70B-Instruct und Llama3.1-70B-Instruct im Durchschnitt. Unsere Ergebnisse unterstreichen die Notwendigkeit domänenspezifischer Anpassungen bei finanziellen Aufgaben und betonen zukünftige Richtungen wie die Argumentation mit mehreren Tabellen, die Verarbeitung langer Kontexte und das Verständnis finanzieller Terminologie. Alle unsere Datensätze, Modelle und Codes sind öffentlich verfügbar. Darüber hinaus führen wir eine Bestenliste zur Benchmarking zukünftiger Datensätze und Modelle ein.

English

Recent advancements in large language models (LLMs) have shown strong general reasoning abilities, yet their effectiveness in financial reasoning remains underexplored. In this study, we comprehensively evaluate 16 powerful reasoning and general LLMs on three complex financial tasks involving financial text, tabular data, and equations, assessing numerical reasoning, tabular interpretation, financial terminology comprehension, long-context processing, and equation-based problem solving. Our results show that while better datasets and pretraining improve financial reasoning, general enhancements like CoT fine-tuning do not always yield consistent gains. Moreover, all reasoning strategies face challenges in improving performance on long-context and multi-table tasks. To address these limitations, we develop a financial reasoning-enhanced model based on Llama-3.1-8B-Instruct, by CoT fine-tuning and reinforcement learning with domain-specific reasoning paths. Even with simple fine-tuning with one financial dataset, our model achieves a consistent 10% performance improvement across tasks, surpassing all 8B models and even Llama3-70B-Instruct and Llama3.1-70B-Instruct on average. Our results highlight the need for domain-specific adaptations in financial tasks, emphasizing future directions such as multi-table reasoning, long-context processing, and financial terminology comprehension. All our datasets, models, and codes are publicly available. Furthermore, we introduce a leaderboard for benchmarking future datasets and models.