Verwacht het Onverwachte: FailSafe Lange Context V&A voor Financiën

Samenvatting

Wij stellen een nieuwe financiële benchmark voor met een lange context, FailSafeQA genaamd, ontworpen om de robuustheid en contextgevoeligheid van LLM's te testen tegen zes variaties in menselijke-interactie-interacties in op LLM gebaseerde vraag-antwoordsystemen binnen de financiële sector. We concentreren ons op twee casestudies: Vraagfalen en Contextfalen. In het scenario van Vraagfalen verstoren we de oorspronkelijke vraag om te variëren in domeinkennis, volledigheid en taalkundige nauwkeurigheid. In het geval van Contextfalen simuleren we het uploaden van verslechterde, irrelevante en lege documenten. We maken gebruik van de LLM-als-rechter methodologie met Qwen2.5-72B-Instruct en gebruiken fijnmazige beoordelingscriteria om Robuustheid, Contextgronding en Nalevingscores te definiëren en te berekenen voor 24 kant-en-klare modellen. De resultaten suggereren dat hoewel sommige modellen uitblinken in het beperken van inputverstoringen, ze een balans moeten vinden tussen robuust antwoorden en het vermogen om niet te hallucineren. Opmerkelijk is dat Palmyra-Fin-128k-Instruct, erkend als het meest conforme model, een sterke basisondersteuning behield maar uitdagingen ondervond bij het handhaven van robuuste voorspellingen in 17% van de testgevallen. Aan de andere kant fabriceerde het meest robuuste model, OpenAI o3-mini, informatie in 41% van de geteste gevallen. De resultaten tonen aan dat zelfs hoog presterende modellen aanzienlijke ruimte hebben voor verbetering en benadrukken de rol van FailSafeQA als een tool voor het ontwikkelen van LLM's geoptimaliseerd voor betrouwbaarheid in financiële toepassingen. De dataset is beschikbaar op: https://huggingface.co/datasets/Writer/FailSafeQA

English

We propose a new long-context financial benchmark, FailSafeQA, designed to test the robustness and context-awareness of LLMs against six variations in human-interface interactions in LLM-based query-answer systems within finance. We concentrate on two case studies: Query Failure and Context Failure. In the Query Failure scenario, we perturb the original query to vary in domain expertise, completeness, and linguistic accuracy. In the Context Failure case, we simulate the uploads of degraded, irrelevant, and empty documents. We employ the LLM-as-a-Judge methodology with Qwen2.5-72B-Instruct and use fine-grained rating criteria to define and calculate Robustness, Context Grounding, and Compliance scores for 24 off-the-shelf models. The results suggest that although some models excel at mitigating input perturbations, they must balance robust answering with the ability to refrain from hallucinating. Notably, Palmyra-Fin-128k-Instruct, recognized as the most compliant model, maintained strong baseline performance but encountered challenges in sustaining robust predictions in 17% of test cases. On the other hand, the most robust model, OpenAI o3-mini, fabricated information in 41% of tested cases. The results demonstrate that even high-performing models have significant room for improvement and highlight the role of FailSafeQA as a tool for developing LLMs optimized for dependability in financial applications. The dataset is available at: https://huggingface.co/datasets/Writer/FailSafeQA

Verwacht het Onverwachte: FailSafe Lange Context V&A voor Financiën

Expect the Unexpected: FailSafe Long Context QA for Finance

Samenvatting

Support