Plutus: Valutazione di Modelli Linguistici di Grandi Dimensioni nel Settore Finanziario Greco a Risorse Limitare

Plutus: Benchmarking Large Language Models in Low-Resource Greek Finance

February 26, 2025

Autori: Xueqing Peng, Triantafillos Papadopoulos, Efstathia Soufleri, Polydoros Giannouris, Ruoyu Xiang, Yan Wang, Lingfei Qian, Jimin Huang, Qianqian Xie, Sophia Ananiadou

cs.AI

Abstract

Nonostante il ruolo cruciale della Grecia nell'economia globale, i grandi modelli linguistici (LLM) rimangono poco esplorati nel contesto finanziario greco a causa della complessità linguistica del greco e della scarsità di dataset specifici per il dominio. I precedenti sforzi nell'elaborazione del linguaggio naturale (NLP) finanziario multilingue hanno evidenziato notevoli disparità di prestazioni, ma finora non sono stati sviluppati benchmark finanziari dedicati al greco né LLM finanziari specifici per il greco. Per colmare questa lacuna, introduciamo Plutus-ben, il primo Benchmark di Valutazione Finanziaria in Greco, e Plutus-8B, il primo LLM Finanziario Greco, addestrato con dati specifici del dominio greco. Plutus-ben affronta cinque compiti fondamentali del NLP finanziario in greco: riconoscimento di entità nominate numeriche e testuali, risposta a domande, riassunto astrattivo e classificazione di argomenti, facilitando così valutazioni sistematiche e riproducibili degli LLM. Per supportare questi compiti, presentiamo tre nuovi dataset finanziari greci di alta qualità, annotati accuratamente da esperti madrelingua greci, integrati da due risorse esistenti. La nostra valutazione completa di 22 LLM su Plutus-ben rivela che il NLP finanziario greco rimane impegnativo a causa della complessità linguistica, della terminologia specifica del dominio e delle lacune nel ragionamento finanziario. Questi risultati sottolineano i limiti del trasferimento cross-linguistico, la necessità di competenze finanziarie nei modelli addestrati in greco e le sfide nell'adattare gli LLM finanziari ai testi greci. Rilasciamo pubblicamente Plutus-ben, Plutus-8B e tutti i dataset associati per promuovere la ricerca riproducibile e far progredire il NLP finanziario greco, favorendo una più ampia inclusività multilingue nel settore finanziario.

English

Despite Greece's pivotal role in the global economy, large language models (LLMs) remain underexplored for Greek financial context due to the linguistic complexity of Greek and the scarcity of domain-specific datasets. Previous efforts in multilingual financial natural language processing (NLP) have exposed considerable performance disparities, yet no dedicated Greek financial benchmarks or Greek-specific financial LLMs have been developed until now. To bridge this gap, we introduce Plutus-ben, the first Greek Financial Evaluation Benchmark, and Plutus-8B, the pioneering Greek Financial LLM, fine-tuned with Greek domain-specific data. Plutus-ben addresses five core financial NLP tasks in Greek: numeric and textual named entity recognition, question answering, abstractive summarization, and topic classification, thereby facilitating systematic and reproducible LLM assessments. To underpin these tasks, we present three novel, high-quality Greek financial datasets, thoroughly annotated by expert native Greek speakers, augmented by two existing resources. Our comprehensive evaluation of 22 LLMs on Plutus-ben reveals that Greek financial NLP remains challenging due to linguistic complexity, domain-specific terminology, and financial reasoning gaps. These findings underscore the limitations of cross-lingual transfer, the necessity for financial expertise in Greek-trained models, and the challenges of adapting financial LLMs to Greek text. We release Plutus-ben, Plutus-8B, and all associated datasets publicly to promote reproducible research and advance Greek financial NLP, fostering broader multilingual inclusivity in finance.