Oportunidades y riesgos de los LLM para la deliberación escalable con Polis
Opportunities and Risks of LLMs for Scalable Deliberation with Polis
June 20, 2023
Autores: Christopher T. Small, Ivan Vendrov, Esin Durmus, Hadjar Homaei, Elizabeth Barry, Julien Cornebise, Ted Suzman, Deep Ganguli, Colin Megill
cs.AI
Resumen
Polis es una plataforma que aprovecha la inteligencia artificial para escalar procesos deliberativos. En este artículo, exploramos las oportunidades y riesgos asociados con la aplicación de Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) hacia los desafíos de facilitar, moderar y resumir los resultados de las interacciones en Polis. En particular, demostramos mediante experimentos piloto utilizando Claude de Anthropic que los LLMs pueden, de hecho, aumentar la inteligencia humana para ayudar a ejecutar conversaciones en Polis de manera más eficiente. Específicamente, encontramos que las capacidades de resumen permiten métodos categóricamente nuevos con un inmenso potencial para empoderar al público en ejercicios de construcción colectiva de significado. Y, notablemente, las limitaciones de contexto de los LLMs tienen un impacto significativo en la profundidad y calidad de estos resultados.
Sin embargo, estas oportunidades vienen acompañadas de riesgos. Discutimos algunos de estos riesgos, así como principios y técnicas para caracterizarlos y mitigarlos, y las implicaciones para otros sistemas deliberativos o políticos que podrían emplear LLMs. Finalmente, concluimos con varias direcciones abiertas para futuras investigaciones orientadas a mejorar herramientas como Polis con LLMs.
English
Polis is a platform that leverages machine intelligence to scale up
deliberative processes. In this paper, we explore the opportunities and risks
associated with applying Large Language Models (LLMs) towards challenges with
facilitating, moderating and summarizing the results of Polis engagements. In
particular, we demonstrate with pilot experiments using Anthropic's Claude that
LLMs can indeed augment human intelligence to help more efficiently run Polis
conversations. In particular, we find that summarization capabilities enable
categorically new methods with immense promise to empower the public in
collective meaning-making exercises. And notably, LLM context limitations have
a significant impact on insight and quality of these results.
However, these opportunities come with risks. We discuss some of these risks,
as well as principles and techniques for characterizing and mitigating them,
and the implications for other deliberative or political systems that may
employ LLMs. Finally, we conclude with several open future research directions
for augmenting tools like Polis with LLMs.