LIBERTy: Uma Estrutura Causal para Avaliação Comparativa de Explicações Baseadas em Conceitos de LLMs com Contra-factuais Estruturais
LIBERTy: A Causal Framework for Benchmarking Concept-Based Explanations of LLMs with Structural Counterfactuals
January 15, 2026
Autores: Gilat Toker, Nitay Calderon, Ohad Amosy, Roi Reichart
cs.AI
Resumo
As explicações baseadas em conceitos quantificam como conceitos de alto nível (por exemplo, género ou experiência) influenciam o comportamento do modelo, o que é crucial para os decisores em domínios de alto risco. Trabalhos recentes avaliam a fidelidade de tais explicações comparando-as com efeitos causais de referência estimados a partir de contrafactuais. Na prática, os *benchmarks* existentes dependem de contrafactuais escritos por humanos, que são dispendiosos e servem como um proxy imperfeito. Para resolver isto, introduzimos um quadro para a construção de conjuntos de dados contendo pares contrafactuais estruturais: LIBERTy (*LLM-based Interventional Benchmark for Explainability with Reference Targets*). O LIBERTy baseia-se em Modelos Causais Estruturados (MCEs) explicitamente definidos da geração de texto; as intervenções num conceito propagam-se através do MCE até que um LLM gera o contrafactual. Introduzimos três conjuntos de dados (deteção de doenças, triagem de currículos e previsão de violência no local de trabalho) em conjunto com uma nova métrica de avaliação, a fidelidade de ordem. Utilizando-os, avaliamos uma vasta gama de métodos em cinco modelos e identificamos um espaço substancial para melhorar as explicações baseadas em conceitos. O LIBERTy também permite uma análise sistemática da sensibilidade do modelo a intervenções: descobrimos que os LLMs proprietários mostram uma sensibilidade marcadamente reduzida a conceitos demográficos, provavelmente devido à mitigação pós-treinamento. No geral, o LIBERTy fornece um *benchmark* muito necessário para o desenvolvimento de métodos de explicabilidade fiáveis.
English
Concept-based explanations quantify how high-level concepts (e.g., gender or experience) influence model behavior, which is crucial for decision-makers in high-stakes domains. Recent work evaluates the faithfulness of such explanations by comparing them to reference causal effects estimated from counterfactuals. In practice, existing benchmarks rely on costly human-written counterfactuals that serve as an imperfect proxy. To address this, we introduce a framework for constructing datasets containing structural counterfactual pairs: LIBERTy (LLM-based Interventional Benchmark for Explainability with Reference Targets). LIBERTy is grounded in explicitly defined Structured Causal Models (SCMs) of the text generation, interventions on a concept propagate through the SCM until an LLM generates the counterfactual. We introduce three datasets (disease detection, CV screening, and workplace violence prediction) together with a new evaluation metric, order-faithfulness. Using them, we evaluate a wide range of methods across five models and identify substantial headroom for improving concept-based explanations. LIBERTy also enables systematic analysis of model sensitivity to interventions: we find that proprietary LLMs show markedly reduced sensitivity to demographic concepts, likely due to post-training mitigation. Overall, LIBERTy provides a much-needed benchmark for developing faithful explainability methods.