Chancen und Risiken von LLMs für skalierbare Deliberation mit Polis
Opportunities and Risks of LLMs for Scalable Deliberation with Polis
June 20, 2023
Autoren: Christopher T. Small, Ivan Vendrov, Esin Durmus, Hadjar Homaei, Elizabeth Barry, Julien Cornebise, Ted Suzman, Deep Ganguli, Colin Megill
cs.AI
Zusammenfassung
Polis ist eine Plattform, die maschinelle Intelligenz nutzt, um deliberative Prozesse zu skalieren. In diesem Artikel untersuchen wir die Chancen und Risiken, die mit dem Einsatz von Large Language Models (LLMs) bei der Bewältigung von Herausforderungen im Zusammenhang mit der Erleichterung, Moderation und Zusammenfassung der Ergebnisse von Polis-Engagements verbunden sind. Insbesondere demonstrieren wir anhand von Pilotexperimenten mit Anthropics Claude, dass LLMs tatsächlich die menschliche Intelligenz erweitern können, um Polis-Gespräche effizienter zu führen. Dabei stellen wir fest, dass die Fähigkeiten zur Zusammenfassung völlig neue Methoden mit immensem Potenzial ermöglichen, um die Öffentlichkeit in kollektiven Sinnbildungsprozessen zu stärken. Bemerkenswert ist, dass die Kontextbeschränkungen von LLMs einen erheblichen Einfluss auf die Einsichten und die Qualität dieser Ergebnisse haben.
Allerdings sind diese Chancen mit Risiken verbunden. Wir diskutieren einige dieser Risiken sowie Prinzipien und Techniken zu deren Charakterisierung und Minderung, und die Implikationen für andere deliberative oder politische Systeme, die LLMs einsetzen könnten. Abschließend skizzieren wir mehrere offene zukünftige Forschungsrichtungen zur Erweiterung von Werkzeugen wie Polis durch LLMs.
English
Polis is a platform that leverages machine intelligence to scale up
deliberative processes. In this paper, we explore the opportunities and risks
associated with applying Large Language Models (LLMs) towards challenges with
facilitating, moderating and summarizing the results of Polis engagements. In
particular, we demonstrate with pilot experiments using Anthropic's Claude that
LLMs can indeed augment human intelligence to help more efficiently run Polis
conversations. In particular, we find that summarization capabilities enable
categorically new methods with immense promise to empower the public in
collective meaning-making exercises. And notably, LLM context limitations have
a significant impact on insight and quality of these results.
However, these opportunities come with risks. We discuss some of these risks,
as well as principles and techniques for characterizing and mitigating them,
and the implications for other deliberative or political systems that may
employ LLMs. Finally, we conclude with several open future research directions
for augmenting tools like Polis with LLMs.