«No Tomé las Microdecisiones»: Medición, Inducción y Exposición de las Contribuciones de la IA a Nivel de Objetivo en la Colaboración

Resumen

A medida que los modelos de lenguaje de gran tamaño (LLMs) influyen cada vez más en cómo los usuarios forman, perfeccionan y amplían sus objetivos, atribuir contribuciones en la colaboración humano-IA se vuelve fundamental para que los usuarios calibren su propia confianza y para que los evaluadores valoren el trabajo asistido por IA. Sin embargo, los métodos existentes se centran en artefactos finales, omitiendo el proceso mediante el cual los propios objetivos se moldean conjuntamente. Presentamos un marco de atribución a nivel de objetivos, CoTrace, que descompone los objetivos explícitos en requisitos verificables y rastrea tanto las contribuciones directas como las influencias indirectas a lo largo de los turnos de diálogo. Al aplicar CoTrace a 638 registros de colaboración del mundo real, encontramos que, si bien los modelos solo representan entre el 11% y el 26% de la contribución en la configuración de objetivos, contribuyen sustancialmente más en la introducción de requisitos concretos de nivel inferior y realizan diversos tipos de contribuciones indirectas. Mediante simulaciones controladas, demostramos que las decisiones de diseño de interacción afectan significativamente el comportamiento de los modelos en la configuración de objetivos. En un estudio de usuario, exponer a los participantes a análisis a nivel de objetivos cambia sus contribuciones percibidas en casi 2 puntos en una escala de 5 puntos, revelando una descalibración sistemática en cómo los usuarios entienden su propio trabajo asistido por IA.

English

As large language models (LLMs) increasingly shape how users form, refine, and extend their goals, attributing contributions in human-AI collaboration becomes critical for users calibrating their own reliance and for evaluators assessing AI-assisted work. Yet existing methods focus on final artifacts, missing the process through which goals themselves are jointly shaped. We introduce a goal-level attribution framework, CoTrace, that decomposes explicit goals into verifiable requirements and traces both direct contributions and indirect influences across dialogue turns. Applying CoTrace to 638 real-world collaboration logs, we find that while models account for only 11-26% of goal-shaping contribution, they contribute substantially more on introducing lower-level concrete requirements, and make various kinds of indirect contributions. Through controlled simulations, we show that interaction design choices significantly affect model goal-shaping behavior. In a user study, exposing participants to goal-level analyses shifts their perceived contributions by nearly 2 points on a 5-point scale, revealing systematic miscalibration in how users understand their own AI-assisted work.