Oportunidades e Riscos dos LLMs para a Deliberação Escalável com Polis
Opportunities and Risks of LLMs for Scalable Deliberation with Polis
June 20, 2023
Autores: Christopher T. Small, Ivan Vendrov, Esin Durmus, Hadjar Homaei, Elizabeth Barry, Julien Cornebise, Ted Suzman, Deep Ganguli, Colin Megill
cs.AI
Resumo
Polis é uma plataforma que utiliza inteligência artificial para ampliar processos deliberativos. Neste artigo, exploramos as oportunidades e os riscos associados à aplicação de Modelos de Linguagem de Grande Escala (LLMs, na sigla em inglês) aos desafios de facilitar, moderar e resumir os resultados das interações no Polis. Em particular, demonstramos, por meio de experimentos piloto utilizando o Claude da Anthropic, que os LLMs podem, de fato, aumentar a inteligência humana para ajudar a conduzir conversas no Polis de forma mais eficiente. Especificamente, descobrimos que as capacidades de resumo permitem métodos categoricamente novos, com grande potencial para capacitar o público em exercícios coletivos de construção de significado. E, de forma notável, as limitações de contexto dos LLMs têm um impacto significativo na profundidade e na qualidade desses resultados.
No entanto, essas oportunidades vêm acompanhadas de riscos. Discutimos alguns desses riscos, bem como princípios e técnicas para caracterizá-los e mitigá-los, e as implicações para outros sistemas deliberativos ou políticos que possam empregar LLMs. Por fim, concluímos com várias direções futuras de pesquisa para aprimorar ferramentas como o Polis com o uso de LLMs.
English
Polis is a platform that leverages machine intelligence to scale up
deliberative processes. In this paper, we explore the opportunities and risks
associated with applying Large Language Models (LLMs) towards challenges with
facilitating, moderating and summarizing the results of Polis engagements. In
particular, we demonstrate with pilot experiments using Anthropic's Claude that
LLMs can indeed augment human intelligence to help more efficiently run Polis
conversations. In particular, we find that summarization capabilities enable
categorically new methods with immense promise to empower the public in
collective meaning-making exercises. And notably, LLM context limitations have
a significant impact on insight and quality of these results.
However, these opportunities come with risks. We discuss some of these risks,
as well as principles and techniques for characterizing and mitigating them,
and the implications for other deliberative or political systems that may
employ LLMs. Finally, we conclude with several open future research directions
for augmenting tools like Polis with LLMs.