Plutus: Evaluación de Modelos de Lenguaje de Gran Escala en Finanzas Griegas de Bajos Recursos

Plutus: Benchmarking Large Language Models in Low-Resource Greek Finance

February 26, 2025

Autores: Xueqing Peng, Triantafillos Papadopoulos, Efstathia Soufleri, Polydoros Giannouris, Ruoyu Xiang, Yan Wang, Lingfei Qian, Jimin Huang, Qianqian Xie, Sophia Ananiadou

cs.AI

Resumen

A pesar del papel fundamental de Grecia en la economía global, los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) siguen siendo poco explorados en el contexto financiero griego debido a la complejidad lingüística del griego y la escasez de conjuntos de datos específicos del dominio. Los esfuerzos previos en el procesamiento del lenguaje natural (PLN) financiero multilingüe han revelado disparidades considerables en el rendimiento, pero hasta ahora no se han desarrollado puntos de referencia financieros dedicados al griego ni LLMs financieros específicos para este idioma. Para cerrar esta brecha, presentamos Plutus-ben, el primer Punto de Referencia de Evaluación Financiera en Griego, y Plutus-8B, el pionero LLM Financiero Griego, ajustado con datos específicos del dominio griego. Plutus-ben aborda cinco tareas principales de PLN financiero en griego: reconocimiento de entidades nombradas numéricas y textuales, respuesta a preguntas, resumen abstracto y clasificación de temas, facilitando así evaluaciones sistemáticas y reproducibles de LLMs. Para respaldar estas tareas, presentamos tres nuevos conjuntos de datos financieros griegos de alta calidad, minuciosamente anotados por expertos hablantes nativos de griego, complementados por dos recursos existentes. Nuestra evaluación exhaustiva de 22 LLMs en Plutus-ben revela que el PLN financiero en griego sigue siendo un desafío debido a la complejidad lingüística, la terminología específica del dominio y las brechas en el razonamiento financiero. Estos hallazgos subrayan las limitaciones de la transferencia translingüística, la necesidad de experiencia financiera en los modelos entrenados en griego y los desafíos de adaptar los LLMs financieros al texto griego. Publicamos Plutus-ben, Plutus-8B y todos los conjuntos de datos asociados de manera pública para promover la investigación reproducible y avanzar en el PLN financiero griego, fomentando una mayor inclusión multilingüe en las finanzas.

English

Despite Greece's pivotal role in the global economy, large language models (LLMs) remain underexplored for Greek financial context due to the linguistic complexity of Greek and the scarcity of domain-specific datasets. Previous efforts in multilingual financial natural language processing (NLP) have exposed considerable performance disparities, yet no dedicated Greek financial benchmarks or Greek-specific financial LLMs have been developed until now. To bridge this gap, we introduce Plutus-ben, the first Greek Financial Evaluation Benchmark, and Plutus-8B, the pioneering Greek Financial LLM, fine-tuned with Greek domain-specific data. Plutus-ben addresses five core financial NLP tasks in Greek: numeric and textual named entity recognition, question answering, abstractive summarization, and topic classification, thereby facilitating systematic and reproducible LLM assessments. To underpin these tasks, we present three novel, high-quality Greek financial datasets, thoroughly annotated by expert native Greek speakers, augmented by two existing resources. Our comprehensive evaluation of 22 LLMs on Plutus-ben reveals that Greek financial NLP remains challenging due to linguistic complexity, domain-specific terminology, and financial reasoning gaps. These findings underscore the limitations of cross-lingual transfer, the necessity for financial expertise in Greek-trained models, and the challenges of adapting financial LLMs to Greek text. We release Plutus-ben, Plutus-8B, and all associated datasets publicly to promote reproducible research and advance Greek financial NLP, fostering broader multilingual inclusivity in finance.