Opportunità e Rischi dei Modelli Linguistici di Grande Dimensione per la Deliberazione Scalabile con Polis

Opportunities and Risks of LLMs for Scalable Deliberation with Polis

June 20, 2023

Autori: Christopher T. Small, Ivan Vendrov, Esin Durmus, Hadjar Homaei, Elizabeth Barry, Julien Cornebise, Ted Suzman, Deep Ganguli, Colin Megill

cs.AI

Abstract

Polis è una piattaforma che sfrutta l'intelligenza artificiale per ampliare i processi deliberativi. In questo articolo, esploriamo le opportunità e i rischi associati all'applicazione dei Modelli Linguistici di Grande Scala (LLM) alle sfide legate alla facilitazione, moderazione e sintesi dei risultati delle interazioni su Polis. In particolare, dimostriamo attraverso esperimenti pilota condotti con Claude di Anthropic che gli LLM possono effettivamente potenziare l'intelligenza umana per gestire in modo più efficiente le conversazioni su Polis. In particolare, scopriamo che le capacità di sintesi abilitano metodi categoricamente nuovi con un enorme potenziale per coinvolgere il pubblico in esercizi di creazione collettiva di significato. E, in modo significativo, le limitazioni contestuali degli LLM hanno un impatto rilevante sull'approfondimento e sulla qualità di questi risultati. Tuttavia, queste opportunità comportano anche dei rischi. Discutiamo alcuni di questi rischi, nonché i principi e le tecniche per caratterizzarli e mitigarli, e le implicazioni per altri sistemi deliberativi o politici che potrebbero impiegare gli LLM. Infine, concludiamo con diverse direzioni future di ricerca aperte per potenziare strumenti come Polis con gli LLM.

English

Polis is a platform that leverages machine intelligence to scale up deliberative processes. In this paper, we explore the opportunities and risks associated with applying Large Language Models (LLMs) towards challenges with facilitating, moderating and summarizing the results of Polis engagements. In particular, we demonstrate with pilot experiments using Anthropic's Claude that LLMs can indeed augment human intelligence to help more efficiently run Polis conversations. In particular, we find that summarization capabilities enable categorically new methods with immense promise to empower the public in collective meaning-making exercises. And notably, LLM context limitations have a significant impact on insight and quality of these results. However, these opportunities come with risks. We discuss some of these risks, as well as principles and techniques for characterizing and mitigating them, and the implications for other deliberative or political systems that may employ LLMs. Finally, we conclude with several open future research directions for augmenting tools like Polis with LLMs.