Aspettarsi l'inaspettato: QA a lungo contesto FailSafe per il settore finanziario

Expect the Unexpected: FailSafe Long Context QA for Finance

February 10, 2025

Autori: Kiran Kamble, Melisa Russak, Dmytro Mozolevskyi, Muayad Ali, Mateusz Russak, Waseem AlShikh

cs.AI

Abstract

Proponiamo un nuovo benchmark finanziario a lungo contesto, FailSafeQA, progettato per testare la robustezza e la consapevolezza del contesto dei LLM contro sei variazioni nelle interazioni interfaccia-utente nei sistemi di interrogazione-risposta basati su LLM nel settore finanziario. Ci concentriamo su due studi di caso: Fallimento della Query e Fallimento del Contesto. Nel caso di Fallimento della Query, perturbiamo la query originale per variare l'esperienza di dominio, la completezza e l'accuratezza linguistica. Nel caso di Fallimento del Contesto, simuliamo l'upload di documenti degradati, non pertinenti e vuoti. Utilizziamo la metodologia LLM-come-Giudice con Qwen2.5-72B-Instruct e utilizziamo criteri di valutazione dettagliati per definire e calcolare i punteggi di Robustezza, Contestualizzazione e Conformità per 24 modelli già pronti. I risultati suggeriscono che sebbene alcuni modelli eccellano nel mitigare le perturbazioni in ingresso, devono bilanciare una risposta robusta con la capacità di evitare l'elaborazione di informazioni non veritiere. In particolare, Palmyra-Fin-128k-Instruct, riconosciuto come il modello più conforme, ha mantenuto elevate prestazioni di base ma ha incontrato sfide nel mantenere previsioni robuste nel 17% dei casi di test. D'altra parte, il modello più robusto, OpenAI o3-mini, ha fabbricato informazioni nel 41% dei casi testati. I risultati dimostrano che anche i modelli ad alte prestazioni hanno ampio margine di miglioramento e sottolineano il ruolo di FailSafeQA come strumento per lo sviluppo di LLM ottimizzati per l'affidabilità nelle applicazioni finanziarie. Il dataset è disponibile su: https://huggingface.co/datasets/Writer/FailSafeQA

English

We propose a new long-context financial benchmark, FailSafeQA, designed to test the robustness and context-awareness of LLMs against six variations in human-interface interactions in LLM-based query-answer systems within finance. We concentrate on two case studies: Query Failure and Context Failure. In the Query Failure scenario, we perturb the original query to vary in domain expertise, completeness, and linguistic accuracy. In the Context Failure case, we simulate the uploads of degraded, irrelevant, and empty documents. We employ the LLM-as-a-Judge methodology with Qwen2.5-72B-Instruct and use fine-grained rating criteria to define and calculate Robustness, Context Grounding, and Compliance scores for 24 off-the-shelf models. The results suggest that although some models excel at mitigating input perturbations, they must balance robust answering with the ability to refrain from hallucinating. Notably, Palmyra-Fin-128k-Instruct, recognized as the most compliant model, maintained strong baseline performance but encountered challenges in sustaining robust predictions in 17% of test cases. On the other hand, the most robust model, OpenAI o3-mini, fabricated information in 41% of tested cases. The results demonstrate that even high-performing models have significant room for improvement and highlight the role of FailSafeQA as a tool for developing LLMs optimized for dependability in financial applications. The dataset is available at: https://huggingface.co/datasets/Writer/FailSafeQA