Mensen en LLM's verschillen in probabilistische redenering.

Samenvatting

Menselijk redeneren houdt vaak in dat men werkt met beperkte informatie om tot probabilistische conclusies te komen. In de eenvoudigste vorm gaat dit om het maken van een gevolgtrekking die niet strikt noodzakelijk volgt uit een premisse, maar slechts waarschijnlijk is gegeven die premisse. Hoewel redenerende LLM's sterke prestaties hebben getoond bij logische en wiskundige taken, blijft hun gedrag bij dergelijke open, niet-deterministische gevolgtrekkingen grotendeels ononderzocht. Wij introduceren ProbCOPA, een dataset van 210 handmatig gemaakte probabilistische gevolgtrekkingen in het Engels, elk geannoteerd voor gevolgtrekkingswaarschijnlijkheid door 25–30 menselijke deelnemers. Wij constateren dat menselijke reacties gradueel en gevarieerd zijn, wat probabilistische oordelen over de gevolgtrekkingen in onze dataset onthult. Door deze oordelen te vergelijken met reacties van acht state-of-the-art redenerende LLM's, tonen wij aan dat modellen consistent falen om mensachtige verdelingen te produceren. Ten slotte vinden wij, door de redeneerketens van LLM's te analyseren, aanwijzingen voor een gemeenschappelijk redeneerpatroon dat wordt gebruikt om dergelijke gevolgtrekkingen te evalueren. Onze bevindingen onthullen hardnekkige verschillen tussen mensen en LLM's en benadrukken de noodzaak om redeneren buiten deterministische kaders te evalueren.

English

Human reasoning often involves working over limited information to arrive at probabilistic conclusions. In its simplest form, this involves making an inference that is not strictly entailed by a premise, but rather only likely given the premise. While reasoning LLMs have demonstrated strong performance on logical and mathematical tasks, their behavior on such open-ended, non-deterministic inferences remains largely unexplored. We introduce ProbCOPA, a dataset of 210 handcrafted probabilistic inferences in English, each annotated for inference likelihood by 25--30 human participants. We find that human responses are graded and varied, revealing probabilistic judgments of the inferences in our dataset. Comparing these judgments with responses from eight state-of-the-art reasoning LLMs, we show that models consistently fail to produce human-like distributions. Finally, analyzing LLM reasoning chains, we find evidence of a common reasoning pattern used to evaluate such inferences. Our findings reveal persistent differences between humans and LLMs, and underscore the need to evaluate reasoning beyond deterministic settings.

Mensen en LLM's verschillen in probabilistische redenering.

Humans and LLMs Diverge on Probabilistic Inferences

Samenvatting

Support