Esperar o Inesperado: QA de Longo Contexto à Prova de Falhas para Finanças

Expect the Unexpected: FailSafe Long Context QA for Finance

February 10, 2025

Autores: Kiran Kamble, Melisa Russak, Dmytro Mozolevskyi, Muayad Ali, Mateusz Russak, Waseem AlShikh

cs.AI

Resumo

Propomos um novo referencial financeiro de longo contexto, FailSafeQA, projetado para testar a robustez e a consciência contextual de LLMs contra seis variações nas interações de interface humana em sistemas de perguntas e respostas baseados em LLMs dentro da área financeira. Concentramo-nos em dois estudos de caso: Falha na Pergunta e Falha no Contexto. No cenário de Falha na Pergunta, perturbamos a pergunta original para variar em expertise de domínio, completude e precisão linguística. No caso de Falha no Contexto, simulamos o envio de documentos degradados, irrelevantes e vazios. Empregamos a metodologia LLM-como-Juíz com Qwen2.5-72B-Instruct e utilizamos critérios de avaliação detalhados para definir e calcular pontuações de Robustez, Fundamentação de Contexto e Conformidade para 24 modelos prontos para uso. Os resultados sugerem que, embora alguns modelos se destaquem em mitigar perturbações de entrada, eles devem equilibrar respostas robustas com a capacidade de se abster de alucinações. Notavelmente, o Palmyra-Fin-128k-Instruct, reconhecido como o modelo mais conforme, manteve um desempenho de referência sólido, mas enfrentou desafios em manter previsões robustas em 17% dos casos de teste. Por outro lado, o modelo mais robusto, OpenAI o3-mini, fabricou informações em 41% dos casos testados. Os resultados demonstram que mesmo os modelos de alto desempenho têm um espaço significativo para melhorias e destacam o papel do FailSafeQA como uma ferramenta para desenvolver LLMs otimizados para confiabilidade em aplicações financeiras. O conjunto de dados está disponível em: https://huggingface.co/datasets/Writer/FailSafeQA

English

We propose a new long-context financial benchmark, FailSafeQA, designed to test the robustness and context-awareness of LLMs against six variations in human-interface interactions in LLM-based query-answer systems within finance. We concentrate on two case studies: Query Failure and Context Failure. In the Query Failure scenario, we perturb the original query to vary in domain expertise, completeness, and linguistic accuracy. In the Context Failure case, we simulate the uploads of degraded, irrelevant, and empty documents. We employ the LLM-as-a-Judge methodology with Qwen2.5-72B-Instruct and use fine-grained rating criteria to define and calculate Robustness, Context Grounding, and Compliance scores for 24 off-the-shelf models. The results suggest that although some models excel at mitigating input perturbations, they must balance robust answering with the ability to refrain from hallucinating. Notably, Palmyra-Fin-128k-Instruct, recognized as the most compliant model, maintained strong baseline performance but encountered challenges in sustaining robust predictions in 17% of test cases. On the other hand, the most robust model, OpenAI o3-mini, fabricated information in 41% of tested cases. The results demonstrate that even high-performing models have significant room for improvement and highlight the role of FailSafeQA as a tool for developing LLMs optimized for dependability in financial applications. The dataset is available at: https://huggingface.co/datasets/Writer/FailSafeQA