LLMs als Arbeitskräfte in menschlich-rechnerischen Algorithmen? Replizierung von Crowdsourcing-Pipelines mit LLMs

LLMs as Workers in Human-Computational Algorithms? Replicating Crowdsourcing Pipelines with LLMs

July 19, 2023

Autoren: Tongshuang Wu, Haiyi Zhu, Maya Albayrak, Alexis Axon, Amanda Bertsch, Wenxing Deng, Ziqi Ding, Bill Guo, Sireesh Gururaja, Tzu-Sheng Kuo, Jenny T. Liang, Ryan Liu, Ihita Mandal, Jeremiah Milbauer, Xiaolin Ni, Namrata Padmanabhan, Subhashini Ramkumar, Alexis Sudjianto, Jordan Taylor, Ying-Jui Tseng, Patricia Vaidos, Zhijin Wu, Wei Wu, Chenyang Yang

cs.AI

Zusammenfassung

LLMs haben vielversprechende Ergebnisse bei der Nachahmung menschlichen Verhaltens in Crowdsourcing-Aufgaben gezeigt, die bisher als exklusiv menschliche Fähigkeiten galten. Allerdings konzentrieren sich aktuelle Bemühungen hauptsächlich auf einfache, atomare Aufgaben. Wir untersuchen, ob LLMs komplexere Crowdsourcing-Pipelines replizieren können. Wir stellen fest, dass moderne LLMs einige Fähigkeiten von Crowdworkern in diesen „Human-Computation-Algorithmen“ simulieren können, der Erfolgsgrad jedoch variabel ist und vom Verständnis der Auftraggeber über die Fähigkeiten der LLMs, den spezifischen Anforderungen der Teilaufgaben sowie der optimalen Interaktionsmodalität für die Durchführung dieser Teilaufgaben beeinflusst wird. Wir reflektieren über die unterschiedliche Sensibilität von Menschen und LLMs gegenüber Anweisungen, betonen die Bedeutung von menschzentrierten Sicherheitsvorkehrungen für LLMs und diskutieren das Potenzial, Menschen und LLMs mit komplementären Fähigkeiten zu trainieren. Entscheidend ist, dass wir zeigen, dass die Replikation von Crowdsourcing-Pipelines eine wertvolle Plattform bietet, um (1) die relativen Stärken von LLMs bei verschiedenen Aufgaben zu untersuchen (durch den Vergleich ihrer Leistungen in Teilaufgaben) und (2) das Potenzial von LLMs in komplexen Aufgaben zu erforschen, bei denen sie einen Teil der Aufgaben übernehmen können, während andere den Menschen überlassen bleiben.

English

LLMs have shown promise in replicating human-like behavior in crowdsourcing tasks that were previously thought to be exclusive to human abilities. However, current efforts focus mainly on simple atomic tasks. We explore whether LLMs can replicate more complex crowdsourcing pipelines. We find that modern LLMs can simulate some of crowdworkers' abilities in these "human computation algorithms," but the level of success is variable and influenced by requesters' understanding of LLM capabilities, the specific skills required for sub-tasks, and the optimal interaction modality for performing these sub-tasks. We reflect on human and LLMs' different sensitivities to instructions, stress the importance of enabling human-facing safeguards for LLMs, and discuss the potential of training humans and LLMs with complementary skill sets. Crucially, we show that replicating crowdsourcing pipelines offers a valuable platform to investigate (1) the relative strengths of LLMs on different tasks (by cross-comparing their performances on sub-tasks) and (2) LLMs' potential in complex tasks, where they can complete part of the tasks while leaving others to humans.