Kansen en Risico's van LLM's voor Schaalbaar Overleg met Polis
Opportunities and Risks of LLMs for Scalable Deliberation with Polis
June 20, 2023
Auteurs: Christopher T. Small, Ivan Vendrov, Esin Durmus, Hadjar Homaei, Elizabeth Barry, Julien Cornebise, Ted Suzman, Deep Ganguli, Colin Megill
cs.AI
Samenvatting
Polis is een platform dat gebruikmaakt van machine-intelligentie om deliberatieve processen op te schalen. In dit artikel onderzoeken we de kansen en risico's die gepaard gaan met het toepassen van Large Language Models (LLM's) op uitdagingen bij het faciliteren, modereren en samenvatten van de resultaten van Polis-engagementen. In het bijzonder demonstreren we met pilootexperimenten met Anthropic's Claude dat LLM's inderdaad menselijke intelligentie kunnen versterken om Polis-gesprekken efficiënter te laten verlopen. We ontdekken met name dat samenvattingsmogelijkheden categorisch nieuwe methoden bieden met een enorme belofte om het publiek te empoweren in collectieve betekenisvormingsoefeningen. En opmerkelijk genoeg hebben contextbeperkingen van LLM's een aanzienlijke impact op de inzichten en kwaliteit van deze resultaten.
Deze kansen gaan echter gepaard met risico's. We bespreken enkele van deze risico's, evenals principes en technieken om ze te karakteriseren en te mitigeren, en de implicaties voor andere deliberatieve of politieke systemen die mogelijk LLM's inzetten. Tot slot concluderen we met verschillende open toekomstige onderzoeksrichtingen voor het versterken van tools zoals Polis met LLM's.
English
Polis is a platform that leverages machine intelligence to scale up
deliberative processes. In this paper, we explore the opportunities and risks
associated with applying Large Language Models (LLMs) towards challenges with
facilitating, moderating and summarizing the results of Polis engagements. In
particular, we demonstrate with pilot experiments using Anthropic's Claude that
LLMs can indeed augment human intelligence to help more efficiently run Polis
conversations. In particular, we find that summarization capabilities enable
categorically new methods with immense promise to empower the public in
collective meaning-making exercises. And notably, LLM context limitations have
a significant impact on insight and quality of these results.
However, these opportunities come with risks. We discuss some of these risks,
as well as principles and techniques for characterizing and mitigating them,
and the implications for other deliberative or political systems that may
employ LLMs. Finally, we conclude with several open future research directions
for augmenting tools like Polis with LLMs.