Plutus: Avaliação de Modelos de Linguagem de Grande Escala em Finanças Gregas de Baixos Recursos

Plutus: Benchmarking Large Language Models in Low-Resource Greek Finance

February 26, 2025

Autores: Xueqing Peng, Triantafillos Papadopoulos, Efstathia Soufleri, Polydoros Giannouris, Ruoyu Xiang, Yan Wang, Lingfei Qian, Jimin Huang, Qianqian Xie, Sophia Ananiadou

cs.AI

Resumo

Apesar do papel fundamental da Grécia na economia global, os modelos de linguagem de grande escala (LLMs) permanecem pouco explorados para o contexto financeiro grego devido à complexidade linguística do grego e à escassez de conjuntos de dados específicos do domínio. Esforços anteriores em processamento de linguagem natural (PLN) financeiro multilíngue revelaram disparidades consideráveis de desempenho, mas até agora nenhum benchmark financeiro dedicado ao grego ou LLMs financeiros específicos para o grego foram desenvolvidos. Para preencher essa lacuna, apresentamos o Plutus-ben, o primeiro Benchmark de Avaliação Financeira em Grego, e o Plutus-8B, o pioneiro LLM Financeiro em Grego, ajustado com dados específicos do domínio grego. O Plutus-ben aborda cinco tarefas principais de PLN financeiro em grego: reconhecimento de entidades nomeadas numéricas e textuais, resposta a perguntas, sumarização abstrata e classificação de tópicos, facilitando assim avaliações sistemáticas e reproduzíveis de LLMs. Para fundamentar essas tarefas, apresentamos três novos conjuntos de dados financeiros gregos de alta qualidade, minuciosamente anotados por falantes nativos especialistas em grego, complementados por dois recursos existentes. Nossa avaliação abrangente de 22 LLMs no Plutus-ben revela que o PLN financeiro em grego continua desafiador devido à complexidade linguística, terminologia específica do domínio e lacunas no raciocínio financeiro. Esses achados destacam as limitações da transferência interlínguas, a necessidade de expertise financeira em modelos treinados em grego e os desafios de adaptar LLMs financeiros a textos em grego. Disponibilizamos publicamente o Plutus-ben, o Plutus-8B e todos os conjuntos de dados associados para promover pesquisas reproduzíveis e avançar o PLN financeiro em grego, fomentando uma maior inclusão multilíngue no setor financeiro.

English

Despite Greece's pivotal role in the global economy, large language models (LLMs) remain underexplored for Greek financial context due to the linguistic complexity of Greek and the scarcity of domain-specific datasets. Previous efforts in multilingual financial natural language processing (NLP) have exposed considerable performance disparities, yet no dedicated Greek financial benchmarks or Greek-specific financial LLMs have been developed until now. To bridge this gap, we introduce Plutus-ben, the first Greek Financial Evaluation Benchmark, and Plutus-8B, the pioneering Greek Financial LLM, fine-tuned with Greek domain-specific data. Plutus-ben addresses five core financial NLP tasks in Greek: numeric and textual named entity recognition, question answering, abstractive summarization, and topic classification, thereby facilitating systematic and reproducible LLM assessments. To underpin these tasks, we present three novel, high-quality Greek financial datasets, thoroughly annotated by expert native Greek speakers, augmented by two existing resources. Our comprehensive evaluation of 22 LLMs on Plutus-ben reveals that Greek financial NLP remains challenging due to linguistic complexity, domain-specific terminology, and financial reasoning gaps. These findings underscore the limitations of cross-lingual transfer, the necessity for financial expertise in Greek-trained models, and the challenges of adapting financial LLMs to Greek text. We release Plutus-ben, Plutus-8B, and all associated datasets publicly to promote reproducible research and advance Greek financial NLP, fostering broader multilingual inclusivity in finance.