LLM come lavoratori negli algoritmi di computazione umana? Replicazione delle pipeline di crowdsourcing con LLM

LLMs as Workers in Human-Computational Algorithms? Replicating Crowdsourcing Pipelines with LLMs

July 19, 2023

Autori: Tongshuang Wu, Haiyi Zhu, Maya Albayrak, Alexis Axon, Amanda Bertsch, Wenxing Deng, Ziqi Ding, Bill Guo, Sireesh Gururaja, Tzu-Sheng Kuo, Jenny T. Liang, Ryan Liu, Ihita Mandal, Jeremiah Milbauer, Xiaolin Ni, Namrata Padmanabhan, Subhashini Ramkumar, Alexis Sudjianto, Jordan Taylor, Ying-Jui Tseng, Patricia Vaidos, Zhijin Wu, Wei Wu, Chenyang Yang

cs.AI

Abstract

I LLM hanno dimostrato di essere promettenti nel replicare comportamenti simili a quelli umani in attività di crowdsourcing che in precedenza si pensava fossero esclusive delle capacità umane. Tuttavia, gli sforzi attuali si concentrano principalmente su compiti atomici semplici. Esploriamo se i LLM possano replicare pipeline di crowdsourcing più complesse. Scopriamo che i moderni LLM possono simulare alcune delle capacità dei crowdworker in questi "algoritmi di computazione umana", ma il livello di successo è variabile e influenzato dalla comprensione delle capacità dei LLM da parte dei richiedenti, dalle specifiche competenze richieste per i sotto-compiti e dalla modalità di interazione ottimale per eseguire questi sotto-compiti. Riflettiamo sulle diverse sensibilità alle istruzioni tra umani e LLM, sottolineiamo l'importanza di implementare meccanismi di sicurezza orientati all'uomo per i LLM e discutiamo il potenziale di addestrare umani e LLM con competenze complementari. In modo cruciale, dimostriamo che la replicazione delle pipeline di crowdsourcing offre una piattaforma preziosa per investigare (1) i punti di forza relativi dei LLM su diversi compiti (attraverso il confronto incrociato delle loro prestazioni sui sotto-compiti) e (2) il potenziale dei LLM in compiti complessi, dove possono completare parte delle attività lasciando altre agli umani.

English

LLMs have shown promise in replicating human-like behavior in crowdsourcing tasks that were previously thought to be exclusive to human abilities. However, current efforts focus mainly on simple atomic tasks. We explore whether LLMs can replicate more complex crowdsourcing pipelines. We find that modern LLMs can simulate some of crowdworkers' abilities in these "human computation algorithms," but the level of success is variable and influenced by requesters' understanding of LLM capabilities, the specific skills required for sub-tasks, and the optimal interaction modality for performing these sub-tasks. We reflect on human and LLMs' different sensitivities to instructions, stress the importance of enabling human-facing safeguards for LLMs, and discuss the potential of training humans and LLMs with complementary skill sets. Crucially, we show that replicating crowdsourcing pipelines offers a valuable platform to investigate (1) the relative strengths of LLMs on different tasks (by cross-comparing their performances on sub-tasks) and (2) LLMs' potential in complex tasks, where they can complete part of the tasks while leaving others to humans.