Erwarte das Unerwartete: Ausfallsichere Langzeitkontext-Fragen und Antworten für Finanzen

Expect the Unexpected: FailSafe Long Context QA for Finance

February 10, 2025

Autoren: Kiran Kamble, Melisa Russak, Dmytro Mozolevskyi, Muayad Ali, Mateusz Russak, Waseem AlShikh

cs.AI

Zusammenfassung

Wir schlagen einen neuen Finanzreferenzwert mit langem Kontext vor, FailSafeQA, der entwickelt wurde, um die Robustheit und kontextbezogene Sensibilität von LLMs gegenüber sechs Variationen in der menschlichen Schnittstelleninteraktion in LLM-basierten Frage-Antwort-Systemen im Finanzbereich zu testen. Wir konzentrieren uns auf zwei Fallstudien: Abfragefehler und Kontextfehler. Im Szenario des Abfragefehlers verändern wir die ursprüngliche Abfrage, um die Domänenexpertise, Vollständigkeit und sprachliche Genauigkeit zu variieren. Im Fall des Kontextfehlers simulieren wir das Hochladen von degradierten, irrelevanten und leeren Dokumenten. Wir verwenden die LLM-als-Richter-Methodik mit Qwen2.5-72B-Instruct und verwenden fein abgestufte Bewertungskriterien, um Robustheit, Kontextverankerung und Konformitätswerte für 24 Modelle von der Stange zu definieren und zu berechnen. Die Ergebnisse legen nahe, dass, obwohl einige Modelle bei der Minderung von Eingangsstörungen herausragend sind, sie ein Gleichgewicht zwischen robuster Beantwortung und der Fähigkeit finden müssen, sich vor Halluzinationen zu hüten. Insbesondere Palmyra-Fin-128k-Instruct, das als das konformste Modell anerkannt wird, eine starke Basisleistung beibehielt, aber in 17% der Testfälle Herausforderungen bei der Aufrechterhaltung robuster Vorhersagen hatte. Andererseits hat das robusteste Modell, OpenAI o3-mini, in 41% der getesteten Fälle Informationen fabriziert. Die Ergebnisse zeigen, dass selbst leistungsstarke Modelle erhebliches Verbesserungspotenzial haben und betonen die Rolle von FailSafeQA als Werkzeug zur Entwicklung von LLMs, die für den Einsatz in Finanzanwendungen optimiert sind. Der Datensatz ist verfügbar unter: https://huggingface.co/datasets/Writer/FailSafeQA

English

We propose a new long-context financial benchmark, FailSafeQA, designed to test the robustness and context-awareness of LLMs against six variations in human-interface interactions in LLM-based query-answer systems within finance. We concentrate on two case studies: Query Failure and Context Failure. In the Query Failure scenario, we perturb the original query to vary in domain expertise, completeness, and linguistic accuracy. In the Context Failure case, we simulate the uploads of degraded, irrelevant, and empty documents. We employ the LLM-as-a-Judge methodology with Qwen2.5-72B-Instruct and use fine-grained rating criteria to define and calculate Robustness, Context Grounding, and Compliance scores for 24 off-the-shelf models. The results suggest that although some models excel at mitigating input perturbations, they must balance robust answering with the ability to refrain from hallucinating. Notably, Palmyra-Fin-128k-Instruct, recognized as the most compliant model, maintained strong baseline performance but encountered challenges in sustaining robust predictions in 17% of test cases. On the other hand, the most robust model, OpenAI o3-mini, fabricated information in 41% of tested cases. The results demonstrate that even high-performing models have significant room for improvement and highlight the role of FailSafeQA as a tool for developing LLMs optimized for dependability in financial applications. The dataset is available at: https://huggingface.co/datasets/Writer/FailSafeQA