Los Humanos y los LLM Divergen en Inferencias Probabilísticas
Humans and LLMs Diverge on Probabilistic Inferences
February 26, 2026
Autores: Gaurav Kamath, Sreenath Madathil, Sebastian Schuster, Marie-Catherine de Marneffe, Siva Reddy
cs.AI
Resumen
El razonamiento humano a menudo implica trabajar con información limitada para llegar a conclusiones probabilísticas. En su forma más simple, esto implica hacer una inferencia que no se deduce estrictamente de una premisa, sino que solo es probable dada la premisa. Si bien los LLMs de razonamiento han demostrado un alto rendimiento en tareas lógicas y matemáticas, su comportamiento en este tipo de inferencias abiertas y no deterministas sigue siendo en gran medida inexplorado. Presentamos ProbCOPA, un conjunto de datos de 210 inferencias probabilísticas elaboradas manualmente en inglés, cada una anotada con la probabilidad de inferencia por 25-30 participantes humanos. Encontramos que las respuestas humanas son graduales y variadas, revelando juicios probabilísticos sobre las inferencias en nuestro conjunto de datos. Al comparar estos juicios con las respuestas de ocho LLMs de razonamiento de vanguardia, mostramos que los modelos consistentemente fallan en producir distribuciones similares a las humanas. Finalmente, al analizar las cadenas de razonamiento de los LLMs, encontramos evidencia de un patrón de razonamiento común utilizado para evaluar dichas inferencias. Nuestros hallazgos revelan diferencias persistentes entre humanos y LLMs, y subrayan la necesidad de evaluar el razonamiento más allá de entornos deterministas.
English
Human reasoning often involves working over limited information to arrive at probabilistic conclusions. In its simplest form, this involves making an inference that is not strictly entailed by a premise, but rather only likely given the premise. While reasoning LLMs have demonstrated strong performance on logical and mathematical tasks, their behavior on such open-ended, non-deterministic inferences remains largely unexplored. We introduce ProbCOPA, a dataset of 210 handcrafted probabilistic inferences in English, each annotated for inference likelihood by 25--30 human participants. We find that human responses are graded and varied, revealing probabilistic judgments of the inferences in our dataset. Comparing these judgments with responses from eight state-of-the-art reasoning LLMs, we show that models consistently fail to produce human-like distributions. Finally, analyzing LLM reasoning chains, we find evidence of a common reasoning pattern used to evaluate such inferences. Our findings reveal persistent differences between humans and LLMs, and underscore the need to evaluate reasoning beyond deterministic settings.