"Eu não tomei as microdecisões": Medindo, Induzindo e Expondo Contribuições de IA em Nível de Objetivo na Colaboração

Resumo

À medida que os modelos de linguagem de grande escala (LLMs) moldam cada vez mais a forma como os usuários formam, refinam e estendem seus objetivos, a atribuição de contribuições na colaboração humano-IA torna-se crucial para que os usuários calibrem sua própria confiança e para que avaliadores analisem trabalhos assistidos por IA. No entanto, os métodos existentes concentram-se em artefatos finais, ignorando o processo pelo qual os próprios objetivos são moldados conjuntamente. Apresentamos uma estrutura de atribuição em nível de objetivo, CoTrace, que decompõe objetivos explícitos em requisitos verificáveis e rastreia tanto contribuições diretas quanto influências indiretas ao longo dos turnos de diálogo. Aplicando o CoTrace a 638 registros de colaboração do mundo real, descobrimos que, embora os modelos representem apenas 11-26% da contribuição na modelagem de objetivos, eles contribuem substancialmente mais na introdução de requisitos concretos de nível inferior e realizam vários tipos de contribuições indiretas. Por meio de simulações controladas, mostramos que escolhas de design de interação afetam significativamente o comportamento dos modelos na modelagem de objetivos. Em um estudo com usuários, expor os participantes a análises em nível de objetivo deslocou suas contribuições percebidas em quase 2 pontos em uma escala de 5 pontos, revelando uma descalibragem sistemática na forma como os usuários entendem seu próprio trabalho assistido por IA.

English

As large language models (LLMs) increasingly shape how users form, refine, and extend their goals, attributing contributions in human-AI collaboration becomes critical for users calibrating their own reliance and for evaluators assessing AI-assisted work. Yet existing methods focus on final artifacts, missing the process through which goals themselves are jointly shaped. We introduce a goal-level attribution framework, CoTrace, that decomposes explicit goals into verifiable requirements and traces both direct contributions and indirect influences across dialogue turns. Applying CoTrace to 638 real-world collaboration logs, we find that while models account for only 11-26% of goal-shaping contribution, they contribute substantially more on introducing lower-level concrete requirements, and make various kinds of indirect contributions. Through controlled simulations, we show that interaction design choices significantly affect model goal-shaping behavior. In a user study, exposing participants to goal-level analyses shifts their perceived contributions by nearly 2 points on a 5-point scale, revealing systematic miscalibration in how users understand their own AI-assisted work.