Esperar lo Inesperado: Preguntas y Respuestas de Contexto Largo a Prueba de Fallos para Finanzas

Expect the Unexpected: FailSafe Long Context QA for Finance

February 10, 2025

Autores: Kiran Kamble, Melisa Russak, Dmytro Mozolevskyi, Muayad Ali, Mateusz Russak, Waseem AlShikh

cs.AI

Resumen

Proponemos un nuevo punto de referencia financiero de largo contexto, FailSafeQA, diseñado para probar la robustez y la conciencia contextual de los LLMs frente a seis variaciones en las interacciones de la interfaz humana en sistemas de consulta-respuesta basados en LLM en el ámbito financiero. Nos concentramos en dos estudios de caso: Falla de Consulta y Falla de Contexto. En el escenario de Falla de Consulta, perturbamos la consulta original para variar en experiencia de dominio, completitud y precisión lingüística. En el caso de Falla de Contexto, simulamos la carga de documentos degradados, irrelevantes y vacíos. Empleamos la metodología LLM-como-Juez con Qwen2.5-72B-Instruct y utilizamos criterios de calificación detallados para definir y calcular puntajes de Robustez, Fundamentación de Contexto y Cumplimiento para 24 modelos listos para usar. Los resultados sugieren que aunque algunos modelos sobresalen en mitigar las perturbaciones de entrada, deben equilibrar respuestas robustas con la capacidad de abstenerse de alucinar. Notablemente, Palmyra-Fin-128k-Instruct, reconocido como el modelo más cumplidor, mantuvo un sólido rendimiento base pero enfrentó desafíos para mantener predicciones robustas en el 17% de los casos de prueba. Por otro lado, el modelo más robusto, OpenAI o3-mini, fabricó información en el 41% de los casos probados. Los resultados demuestran que incluso los modelos de alto rendimiento tienen un margen significativo para mejorar y resaltan el papel de FailSafeQA como una herramienta para desarrollar LLMs optimizados para la confiabilidad en aplicaciones financieras. El conjunto de datos está disponible en: https://huggingface.co/datasets/Writer/FailSafeQA

English

We propose a new long-context financial benchmark, FailSafeQA, designed to test the robustness and context-awareness of LLMs against six variations in human-interface interactions in LLM-based query-answer systems within finance. We concentrate on two case studies: Query Failure and Context Failure. In the Query Failure scenario, we perturb the original query to vary in domain expertise, completeness, and linguistic accuracy. In the Context Failure case, we simulate the uploads of degraded, irrelevant, and empty documents. We employ the LLM-as-a-Judge methodology with Qwen2.5-72B-Instruct and use fine-grained rating criteria to define and calculate Robustness, Context Grounding, and Compliance scores for 24 off-the-shelf models. The results suggest that although some models excel at mitigating input perturbations, they must balance robust answering with the ability to refrain from hallucinating. Notably, Palmyra-Fin-128k-Instruct, recognized as the most compliant model, maintained strong baseline performance but encountered challenges in sustaining robust predictions in 17% of test cases. On the other hand, the most robust model, OpenAI o3-mini, fabricated information in 41% of tested cases. The results demonstrate that even high-performing models have significant room for improvement and highlight the role of FailSafeQA as a tool for developing LLMs optimized for dependability in financial applications. The dataset is available at: https://huggingface.co/datasets/Writer/FailSafeQA