"Ik heb de micro-beslissingen niet genomen": Meten, Induceren en Blootleggen van AI-bijdragen op doelniveau in Samenwerking

Samenvatting

Naarmate grote taalmodellen (LLMs) steeds meer bepalen hoe gebruikers hun doelen vormen, verfijnen en uitbreiden, wordt het toeschrijven van bijdragen in mens-AI-samenwerking cruciaal voor gebruikers om hun eigen vertrouwen te kalibreren en voor evaluatoren om AI-ondersteund werk te beoordelen. Toch richten bestaande methoden zich op eindproducten, waarbij ze het proces missen waarin doelen zelf gezamenlijk worden gevormd. We introduceren een attributieraamwerk op doelniveau, CoTrace, dat expliciete doelen opsplitst in verifieerbare vereisten en zowel directe bijdragen als indirecte invloeden over dialoogbeurten heen traceert. Door CoTrace toe te passen op 638 praktijksamenwerkingslogs, ontdekken we dat modellen weliswaar slechts 11-26% van de bijdrage aan doelvorming voor hun rekening nemen, maar aanzienlijk meer bijdragen aan het introduceren van concretere vereisten op lager niveau, en verschillende soorten indirecte bijdragen leveren. Via gecontroleerde simulaties tonen we aan dat keuzes in interactieontwerp het doelvormingsgedrag van modellen aanzienlijk beïnvloeden. In een gebruikersstudie verschuift het blootstellen van deelnemers aan analyses op doelniveau hun waargenomen bijdragen met bijna 2 punten op een 5-puntsschaal, wat systematische miskalibratie onthult in hoe gebruikers hun eigen AI-ondersteunde werk begrijpen.

English

As large language models (LLMs) increasingly shape how users form, refine, and extend their goals, attributing contributions in human-AI collaboration becomes critical for users calibrating their own reliance and for evaluators assessing AI-assisted work. Yet existing methods focus on final artifacts, missing the process through which goals themselves are jointly shaped. We introduce a goal-level attribution framework, CoTrace, that decomposes explicit goals into verifiable requirements and traces both direct contributions and indirect influences across dialogue turns. Applying CoTrace to 638 real-world collaboration logs, we find that while models account for only 11-26% of goal-shaping contribution, they contribute substantially more on introducing lower-level concrete requirements, and make various kinds of indirect contributions. Through controlled simulations, we show that interaction design choices significantly affect model goal-shaping behavior. In a user study, exposing participants to goal-level analyses shifts their perceived contributions by nearly 2 points on a 5-point scale, revealing systematic miscalibration in how users understand their own AI-assisted work.