«Я не принимал микрорешений»: измерение, индуцирование и выявление вклада ИИ на уровне целей в сотрудничестве

Аннотация

Поскольку большие языковые модели (LLM) всё больше определяют то, как пользователи формируют, уточняют и расширяют свои цели, приписывание вклада в сотрудничестве человека и ИИ становится критически важным как для пользователей, калибрующих собственную степень доверия, так и для оценщиков, анализирующих работу с помощью ИИ. Однако существующие методы сосредоточены на конечных артефактах, упуская процесс, в ходе которого сами цели формируются совместно. Мы представляем фреймворк приписывания вклада на уровне целей, CoTrace, который разлагает явные цели на проверяемые требования и отслеживает как прямые вклады, так и косвенные влияния на протяжении ходов диалога. Применяя CoTrace к 638 журналам реального сотрудничества, мы обнаружили, что, хотя на модели приходится лишь 11–26% вклада в формирование целей, они вносят значительно больший вклад в введение более низкоуровневых конкретных требований и осуществляют различные виды косвенного вклада. С помощью контролируемых симуляций мы показываем, что выбор дизайна взаимодействия существенно влияет на поведение модели по формированию целей. В пользовательском исследовании ознакомление участников с анализом на уровне целей сдвигает их воспринимаемый вклад почти на 2 балла по 5-балльной шкале, выявляя систематическую ошибку калибровки в том, как пользователи понимают свою собственную работу с помощью ИИ.

English

As large language models (LLMs) increasingly shape how users form, refine, and extend their goals, attributing contributions in human-AI collaboration becomes critical for users calibrating their own reliance and for evaluators assessing AI-assisted work. Yet existing methods focus on final artifacts, missing the process through which goals themselves are jointly shaped. We introduce a goal-level attribution framework, CoTrace, that decomposes explicit goals into verifiable requirements and traces both direct contributions and indirect influences across dialogue turns. Applying CoTrace to 638 real-world collaboration logs, we find that while models account for only 11-26% of goal-shaping contribution, they contribute substantially more on introducing lower-level concrete requirements, and make various kinds of indirect contributions. Through controlled simulations, we show that interaction design choices significantly affect model goal-shaping behavior. In a user study, exposing participants to goal-level analyses shifts their perceived contributions by nearly 2 points on a 5-point scale, revealing systematic miscalibration in how users understand their own AI-assisted work.