Plutus: Benchmarking von großen Sprachmodellen im Bereich des griechischen Finanzwesens mit begrenzten Ressourcen

Plutus: Benchmarking Large Language Models in Low-Resource Greek Finance

February 26, 2025

Autoren: Xueqing Peng, Triantafillos Papadopoulos, Efstathia Soufleri, Polydoros Giannouris, Ruoyu Xiang, Yan Wang, Lingfei Qian, Jimin Huang, Qianqian Xie, Sophia Ananiadou

cs.AI

Zusammenfassung

Trotz der zentralen Rolle Griechenlands in der globalen Wirtschaft bleiben große Sprachmodelle (LLMs) für den griechischen Finanzkontext aufgrund der sprachlichen Komplexität des Griechischen und der Knappheit domänenspezifischer Datensätze weitgehend unerforscht. Frühere Bemühungen im Bereich der mehrsprachigen Finanz-Natürlichen-Sprache-Verarbeitung (NLP) haben erhebliche Leistungsunterschiede aufgezeigt, doch bislang wurden keine speziellen griechischen Finanz-Benchmarks oder griechisch-spezifischen Finanz-LLMs entwickelt. Um diese Lücke zu schließen, führen wir Plutus-ben, den ersten griechischen Finanz-Evaluierungs-Benchmark, und Plutus-8B, das wegweisende griechische Finanz-LLM, ein, das mit griechischen domänenspezifischen Daten feinabgestimmt wurde. Plutus-ben adressiert fünf zentrale Finanz-NLP-Aufgaben im Griechischen: numerische und textuelle Named Entity Recognition, Frage-Antwort-Systeme, abstraktive Zusammenfassung und Themenklassifizierung, wodurch systematische und reproduzierbare LLM-Bewertungen ermöglicht werden. Um diese Aufgaben zu untermauern, präsentieren wir drei neuartige, hochwertige griechische Finanzdatensätze, die gründlich von muttersprachlichen griechischen Experten annotiert wurden, ergänzt durch zwei bestehende Ressourcen. Unsere umfassende Evaluierung von 22 LLMs auf Plutus-ben zeigt, dass die griechische Finanz-NLP aufgrund der sprachlichen Komplexität, domänenspezifischer Terminologie und Lücken im finanziellen Denken nach wie vor herausfordernd ist. Diese Erkenntnisse unterstreichen die Grenzen des sprachübergreifenden Transfers, die Notwendigkeit finanzieller Expertise in griechisch trainierten Modellen und die Herausforderungen bei der Anpassung von Finanz-LLMs an griechische Texte. Wir veröffentlichen Plutus-ben, Plutus-8B und alle zugehörigen Datensätze öffentlich, um reproduzierbare Forschung zu fördern und die griechische Finanz-NLP voranzutreiben, wodurch eine breitere mehrsprachige Inklusivität im Finanzbereich gefördert wird.

English

Despite Greece's pivotal role in the global economy, large language models (LLMs) remain underexplored for Greek financial context due to the linguistic complexity of Greek and the scarcity of domain-specific datasets. Previous efforts in multilingual financial natural language processing (NLP) have exposed considerable performance disparities, yet no dedicated Greek financial benchmarks or Greek-specific financial LLMs have been developed until now. To bridge this gap, we introduce Plutus-ben, the first Greek Financial Evaluation Benchmark, and Plutus-8B, the pioneering Greek Financial LLM, fine-tuned with Greek domain-specific data. Plutus-ben addresses five core financial NLP tasks in Greek: numeric and textual named entity recognition, question answering, abstractive summarization, and topic classification, thereby facilitating systematic and reproducible LLM assessments. To underpin these tasks, we present three novel, high-quality Greek financial datasets, thoroughly annotated by expert native Greek speakers, augmented by two existing resources. Our comprehensive evaluation of 22 LLMs on Plutus-ben reveals that Greek financial NLP remains challenging due to linguistic complexity, domain-specific terminology, and financial reasoning gaps. These findings underscore the limitations of cross-lingual transfer, the necessity for financial expertise in Greek-trained models, and the challenges of adapting financial LLMs to Greek text. We release Plutus-ben, Plutus-8B, and all associated datasets publicly to promote reproducible research and advance Greek financial NLP, fostering broader multilingual inclusivity in finance.