Humanos e LLMs Divergem em Inferências Probabilísticas

Humans and LLMs Diverge on Probabilistic Inferences

February 26, 2026

Autores: Gaurav Kamath, Sreenath Madathil, Sebastian Schuster, Marie-Catherine de Marneffe, Siva Reddy

cs.AI

Resumo

O raciocínio humano frequentemente envolve trabalhar com informações limitadas para chegar a conclusões probabilísticas. Em sua forma mais simples, isso envolve fazer uma inferência que não é estritamente implicada por uma premissa, mas apenas provável dada a premissa. Embora os LLMs de raciocínio tenham demonstrado um forte desempenho em tarefas lógicas e matemáticas, o seu comportamento em tais inferências abertas e não determinísticas permanece amplamente inexplorado. Apresentamos o ProbCOPA, um conjunto de dados com 210 inferências probabilísticas elaboradas manualmente em inglês, cada uma anotada quanto à probabilidade da inferência por 25 a 30 participantes humanos. Descobrimos que as respostas humanas são graduais e variadas, revelando julgamentos probabilísticos sobre as inferências em nosso conjunto de dados. Comparando esses julgamentos com respostas de oito LLMs de raciocínio de última geração, mostramos que os modelos falham consistentemente em produzir distribuições semelhantes às humanas. Por fim, analisando as cadeias de raciocínio dos LLMs, encontramos evidências de um padrão de raciocínio comum usado para avaliar tais inferências. Nossas descobertas revelam diferenças persistentes entre humanos e LLMs e ressaltam a necessidade de avaliar o raciocínio para além de contextos determinísticos.

English

Human reasoning often involves working over limited information to arrive at probabilistic conclusions. In its simplest form, this involves making an inference that is not strictly entailed by a premise, but rather only likely given the premise. While reasoning LLMs have demonstrated strong performance on logical and mathematical tasks, their behavior on such open-ended, non-deterministic inferences remains largely unexplored. We introduce ProbCOPA, a dataset of 210 handcrafted probabilistic inferences in English, each annotated for inference likelihood by 25--30 human participants. We find that human responses are graded and varied, revealing probabilistic judgments of the inferences in our dataset. Comparing these judgments with responses from eight state-of-the-art reasoning LLMs, we show that models consistently fail to produce human-like distributions. Finally, analyzing LLM reasoning chains, we find evidence of a common reasoning pattern used to evaluate such inferences. Our findings reveal persistent differences between humans and LLMs, and underscore the need to evaluate reasoning beyond deterministic settings.