Anticiper l'inattendu : Questions-réponses à long contexte robuste pour la finance

Expect the Unexpected: FailSafe Long Context QA for Finance

February 10, 2025

Auteurs: Kiran Kamble, Melisa Russak, Dmytro Mozolevskyi, Muayad Ali, Mateusz Russak, Waseem AlShikh

cs.AI

Résumé

Nous proposons un nouveau référentiel financier à long contexte, FailSafeQA, conçu pour tester la robustesse et la conscience contextuelle des LLMs face à six variations dans les interactions interface humaine dans les systèmes de question-réponse basés sur les LLM dans le domaine financier. Nous nous concentrons sur deux études de cas : l'échec de la requête et l'échec du contexte. Dans le scénario d'échec de la requête, nous perturbons la requête originale pour varier en termes d'expertise de domaine, de complétude et de précision linguistique. Dans le cas d'échec du contexte, nous simulons le téléchargement de documents dégradés, non pertinents et vides. Nous utilisons la méthodologie LLM-comme-juge avec Qwen2.5-72B-Instruct et utilisons des critères d'évaluation fins pour définir et calculer les scores de Robustesse, d'Ancrage Contextuel et de Conformité pour 24 modèles prêts à l'emploi. Les résultats suggèrent que bien que certains modèles excellent dans l'atténuation des perturbations d'entrée, ils doivent équilibrer une réponse robuste avec la capacité de s'abstenir d'halluciner. Notamment, Palmyra-Fin-128k-Instruct, reconnu comme le modèle le plus conforme, a maintenu de solides performances de base mais a rencontré des défis pour maintenir des prédictions robustes dans 17 % des cas de test. D'autre part, le modèle le plus robuste, OpenAI o3-mini, a fabriqué des informations dans 41 % des cas testés. Les résultats montrent que même les modèles performants ont un potentiel d'amélioration significatif et mettent en évidence le rôle de FailSafeQA en tant qu'outil pour développer des LLM optimisés pour la fiabilité dans les applications financières. L'ensemble de données est disponible sur : https://huggingface.co/datasets/Writer/FailSafeQA

English

We propose a new long-context financial benchmark, FailSafeQA, designed to test the robustness and context-awareness of LLMs against six variations in human-interface interactions in LLM-based query-answer systems within finance. We concentrate on two case studies: Query Failure and Context Failure. In the Query Failure scenario, we perturb the original query to vary in domain expertise, completeness, and linguistic accuracy. In the Context Failure case, we simulate the uploads of degraded, irrelevant, and empty documents. We employ the LLM-as-a-Judge methodology with Qwen2.5-72B-Instruct and use fine-grained rating criteria to define and calculate Robustness, Context Grounding, and Compliance scores for 24 off-the-shelf models. The results suggest that although some models excel at mitigating input perturbations, they must balance robust answering with the ability to refrain from hallucinating. Notably, Palmyra-Fin-128k-Instruct, recognized as the most compliant model, maintained strong baseline performance but encountered challenges in sustaining robust predictions in 17% of test cases. On the other hand, the most robust model, OpenAI o3-mini, fabricated information in 41% of tested cases. The results demonstrate that even high-performing models have significant room for improvement and highlight the role of FailSafeQA as a tool for developing LLMs optimized for dependability in financial applications. The dataset is available at: https://huggingface.co/datasets/Writer/FailSafeQA