LLM как работники в человеко-вычислительных алгоритмах? Воспроизведение краудсорсинговых процессов с использованием LLM

LLMs as Workers in Human-Computational Algorithms? Replicating Crowdsourcing Pipelines with LLMs

July 19, 2023

Авторы: Tongshuang Wu, Haiyi Zhu, Maya Albayrak, Alexis Axon, Amanda Bertsch, Wenxing Deng, Ziqi Ding, Bill Guo, Sireesh Gururaja, Tzu-Sheng Kuo, Jenny T. Liang, Ryan Liu, Ihita Mandal, Jeremiah Milbauer, Xiaolin Ni, Namrata Padmanabhan, Subhashini Ramkumar, Alexis Sudjianto, Jordan Taylor, Ying-Jui Tseng, Patricia Vaidos, Zhijin Wu, Wei Wu, Chenyang Yang

cs.AI

Аннотация

Крупные языковые модели (LLM) продемонстрировали потенциал в воспроизведении человеческого поведения в задачах краудсорсинга, которые ранее считались исключительной прерогативой человека. Однако текущие усилия сосредоточены в основном на простых атомарных задачах. Мы исследуем, могут ли LLM воспроизводить более сложные краудсорсинговые процессы. Мы обнаруживаем, что современные LLM способны имитировать некоторые способности краудворкеров в этих "алгоритмах человеческих вычислений", но уровень успеха варьируется и зависит от понимания заказчиками возможностей LLM, специфических навыков, необходимых для подзадач, и оптимального способа взаимодействия для выполнения этих подзадач. Мы размышляем о различных уровнях чувствительности людей и LLM к инструкциям, подчеркиваем важность внедрения защитных механизмов, ориентированных на человека, для LLM, и обсуждаем потенциал обучения людей и LLM с взаимодополняющими наборами навыков. Ключевым моментом является то, что воспроизведение краудсорсинговых процессов предоставляет ценную платформу для исследования (1) относительных преимуществ LLM в различных задачах (путем сравнения их производительности на подзадачах) и (2) потенциала LLM в сложных задачах, где они могут выполнять часть работы, оставляя остальное людям.

English

LLMs have shown promise in replicating human-like behavior in crowdsourcing tasks that were previously thought to be exclusive to human abilities. However, current efforts focus mainly on simple atomic tasks. We explore whether LLMs can replicate more complex crowdsourcing pipelines. We find that modern LLMs can simulate some of crowdworkers' abilities in these "human computation algorithms," but the level of success is variable and influenced by requesters' understanding of LLM capabilities, the specific skills required for sub-tasks, and the optimal interaction modality for performing these sub-tasks. We reflect on human and LLMs' different sensitivities to instructions, stress the importance of enabling human-facing safeguards for LLMs, and discuss the potential of training humans and LLMs with complementary skill sets. Crucially, we show that replicating crowdsourcing pipelines offers a valuable platform to investigate (1) the relative strengths of LLMs on different tasks (by cross-comparing their performances on sub-tasks) and (2) LLMs' potential in complex tasks, where they can complete part of the tasks while leaving others to humans.