Abstract Large Language Models (LLMs) have demonstrated remarkable capabilities across various domains. However, their performance in low-resource languages and specialized domains remains understudied. This paper introduces Plutus, a novel benchmark specifically designed to evaluate LLMs in the context of low-resource Greek finance. Plutus comprises a diverse set of tasks, including financial text classification, named entity recognition, and question answering, all tailored to the Greek financial domain. We evaluate several state-of-the-art LLMs on Plutus, revealing significant performance gaps and highlighting the challenges of adapting these models to low-resource settings. Our findings underscore the need for targeted improvements in LLM training and evaluation for specialized domains and low-resource languages. The Plutus benchmark and associated datasets are publicly released to facilitate further research in this area.Plutus : Évaluation des modèles de langage de grande taille dans le domaine de la finance grecque à ressources limitées Résumé Les modèles de langage de grande taille (LLMs) ont démontré des capacités remarquables dans divers domaines. Cependant, leurs performances dans les langues à ressources limitées et les domaines spécialisés restent peu étudiées. Cet article présente Plutus, un nouveau benchmark spécialement conçu pour évaluer les LLMs dans le contexte de la finance grecque à ressources limitées. Plutus comprend un ensemble diversifié de tâches, incluant la classification de textes financiers, la reconnaissance d'entités nommées et le question-réponse, toutes adaptées au domaine financier grec. Nous évaluons plusieurs LLMs de pointe sur Plutus, révélant des écarts de performance significatifs et mettant en lumière les défis liés à l'adaptation de ces modèles à des contextes à ressources limitées. Nos résultats soulignent la nécessité d'améliorations ciblées dans l'entraînement et l'évaluation des LLMs pour les domaines spécialisés et les langues à ressources limitées. Le benchmark Plutus et les ensembles de données associés sont rendus publics pour faciliter les recherches ultérieures dans ce domaine.

Plutus: Benchmarking Large Language Models in Low-Resource Greek Finance

February 26, 2025

Auteurs: Xueqing Peng, Triantafillos Papadopoulos, Efstathia Soufleri, Polydoros Giannouris, Ruoyu Xiang, Yan Wang, Lingfei Qian, Jimin Huang, Qianqian Xie, Sophia Ananiadou

cs.AI

Résumé

Malgré le rôle central de la Grèce dans l'économie mondiale, les grands modèles de langage (LLMs) restent sous-explorés dans le contexte financier grec en raison de la complexité linguistique du grec et de la rareté des ensembles de données spécifiques au domaine. Les efforts précédents en traitement du langage naturel (NLP) financier multilingue ont révélé des disparités de performance considérables, mais aucun benchmark financier grec dédié ou LLM financier spécifique au grec n'a été développé jusqu'à présent. Pour combler cette lacune, nous introduisons Plutus-ben, le premier benchmark d'évaluation financière grec, et Plutus-8B, le premier LLM financier grec, affiné avec des données spécifiques au domaine grec. Plutus-ben aborde cinq tâches principales de NLP financier en grec : la reconnaissance d'entités nommées numériques et textuelles, la réponse à des questions, la synthèse abstraite et la classification thématique, facilitant ainsi des évaluations systématiques et reproductibles des LLMs. Pour soutenir ces tâches, nous présentons trois nouveaux ensembles de données financiers grecs de haute qualité, annotés minutieusement par des experts locuteurs natifs grecs, enrichis par deux ressources existantes. Notre évaluation complète de 22 LLMs sur Plutus-ben révèle que le NLP financier grec reste difficile en raison de la complexité linguistique, de la terminologie spécifique au domaine et des lacunes en raisonnement financier. Ces résultats soulignent les limites du transfert translinguistique, la nécessité d'une expertise financière dans les modèles formés en grec et les défis liés à l'adaptation des LLMs financiers au texte grec. Nous rendons publics Plutus-ben, Plutus-8B et tous les ensembles de données associés pour promouvoir la recherche reproductible et faire progresser le NLP financier grec, favorisant ainsi une inclusion multilingue plus large dans le domaine financier.

English

Despite Greece's pivotal role in the global economy, large language models (LLMs) remain underexplored for Greek financial context due to the linguistic complexity of Greek and the scarcity of domain-specific datasets. Previous efforts in multilingual financial natural language processing (NLP) have exposed considerable performance disparities, yet no dedicated Greek financial benchmarks or Greek-specific financial LLMs have been developed until now. To bridge this gap, we introduce Plutus-ben, the first Greek Financial Evaluation Benchmark, and Plutus-8B, the pioneering Greek Financial LLM, fine-tuned with Greek domain-specific data. Plutus-ben addresses five core financial NLP tasks in Greek: numeric and textual named entity recognition, question answering, abstractive summarization, and topic classification, thereby facilitating systematic and reproducible LLM assessments. To underpin these tasks, we present three novel, high-quality Greek financial datasets, thoroughly annotated by expert native Greek speakers, augmented by two existing resources. Our comprehensive evaluation of 22 LLMs on Plutus-ben reveals that Greek financial NLP remains challenging due to linguistic complexity, domain-specific terminology, and financial reasoning gaps. These findings underscore the limitations of cross-lingual transfer, the necessity for financial expertise in Greek-trained models, and the challenges of adapting financial LLMs to Greek text. We release Plutus-ben, Plutus-8B, and all associated datasets publicly to promote reproducible research and advance Greek financial NLP, fostering broader multilingual inclusivity in finance.