"Ich habe die Mikroentscheidungen nicht getroffen": Messen, Induzieren und Offenlegen von KI-Beiträgen auf Zielebene in der Zusammenarbeit

Zusammenfassung

Da große Sprachmodelle (LLMs) zunehmend beeinflussen, wie Nutzer ihre Ziele formen, verfeinern und erweitern, wird die Zuschreibung von Beiträgen in der Mensch-KI-Zusammenarbeit für Nutzer, die ihr eigenes Vertrauen kalibrieren, und für Evaluatoren, die KI-gestützte Arbeit bewerten, entscheidend. Doch bestehende Methoden konzentrieren sich auf finale Artefakte und übersehen den Prozess, durch den Ziele selbst gemeinsam geformt werden. Wir stellen ein Attributionsframework auf Zielebene vor, CoTrace, das explizite Ziele in überprüfbare Anforderungen zerlegt und sowohl direkte Beiträge als auch indirekte Einflüsse über Dialogrunden hinweg nachverfolgt. Bei der Anwendung von CoTrace auf 638 reale Kollaborationsprotokolle stellen wir fest, dass Modelle zwar nur 11-26 % des Beitrags zur Zielformung ausmachen, aber wesentlich mehr zur Einführung konkreter Anforderungen auf niedrigerer Ebene beitragen und verschiedene Arten von indirekten Beiträgen leisten. Durch kontrollierte Simulationen zeigen wir, dass Interaktionsdesignentscheidungen das Verhalten von Modellen bei der Zielformung signifikant beeinflussen. In einer Nutzerstudie verschiebt die Konfrontation der Teilnehmer mit Analysen auf Zielebene ihre wahrgenommenen Beiträge um fast 2 Punkte auf einer 5-Punkte-Skala, was eine systematische Fehlkalibrierung in der Art und Weise offenbart, wie Nutzer ihre eigene KI-gestützte Arbeit verstehen.

English

As large language models (LLMs) increasingly shape how users form, refine, and extend their goals, attributing contributions in human-AI collaboration becomes critical for users calibrating their own reliance and for evaluators assessing AI-assisted work. Yet existing methods focus on final artifacts, missing the process through which goals themselves are jointly shaped. We introduce a goal-level attribution framework, CoTrace, that decomposes explicit goals into verifiable requirements and traces both direct contributions and indirect influences across dialogue turns. Applying CoTrace to 638 real-world collaboration logs, we find that while models account for only 11-26% of goal-shaping contribution, they contribute substantially more on introducing lower-level concrete requirements, and make various kinds of indirect contributions. Through controlled simulations, we show that interaction design choices significantly affect model goal-shaping behavior. In a user study, exposing participants to goal-level analyses shifts their perceived contributions by nearly 2 points on a 5-point scale, revealing systematic miscalibration in how users understand their own AI-assisted work.