« Je n'ai pas pris les micro-décisions » : mesurer, induire et exposer les contributions de l'IA au niveau des objectifs dans la collaboration

Résumé

Alors que les grands modèles de langage (LLM) façonnent de plus en plus la manière dont les utilisateurs forment, affinent et étendent leurs objectifs, l'attribution des contributions dans la collaboration humain-IA devient cruciale pour que les utilisateurs puissent calibrer leur propre confiance et pour que les évaluateurs évaluent le travail assisté par IA. Pourtant, les méthodes existantes se concentrent sur les artefacts finaux, négligeant le processus par lequel les objectifs eux-mêmes sont co-construits. Nous introduisons un cadre d'attribution au niveau des objectifs, CoTrace, qui décompose les objectifs explicites en exigences vérifiables et retrace à la fois les contributions directes et les influences indirectes à travers les tours de dialogue. En appliquant CoTrace à 638 journaux de collaboration réels, nous constatons que si les modèles ne représentent que 11 à 26 % de la contribution à la définition des objectifs, ils contribuent de manière beaucoup plus significative à l'introduction d'exigences concrètes de bas niveau et fournissent divers types de contributions indirectes. Grâce à des simulations contrôlées, nous montrons que les choix de conception d'interaction affectent considérablement le comportement des modèles en matière de définition d'objectifs. Dans une étude utilisateur, le fait d'exposer les participants à des analyses au niveau des objectifs modifie leur perception des contributions de près de 2 points sur une échelle de 5 points, révélant une mauvaise calibration systématique dans la manière dont les utilisateurs comprennent leur propre travail assisté par IA.

English

As large language models (LLMs) increasingly shape how users form, refine, and extend their goals, attributing contributions in human-AI collaboration becomes critical for users calibrating their own reliance and for evaluators assessing AI-assisted work. Yet existing methods focus on final artifacts, missing the process through which goals themselves are jointly shaped. We introduce a goal-level attribution framework, CoTrace, that decomposes explicit goals into verifiable requirements and traces both direct contributions and indirect influences across dialogue turns. Applying CoTrace to 638 real-world collaboration logs, we find that while models account for only 11-26% of goal-shaping contribution, they contribute substantially more on introducing lower-level concrete requirements, and make various kinds of indirect contributions. Through controlled simulations, we show that interaction design choices significantly affect model goal-shaping behavior. In a user study, exposing participants to goal-level analyses shifts their perceived contributions by nearly 2 points on a 5-point scale, revealing systematic miscalibration in how users understand their own AI-assisted work.