Polisを用いたスケーラブルな熟議における大規模言語モデルの機会とリスク

要旨

Polisは、機械知能を活用して審議プロセスを拡張するプラットフォームです。本論文では、Polisのエンゲージメントを促進、モデレート、および結果を要約するという課題に対して大規模言語モデル（LLM）を適用する際の機会とリスクを探ります。特に、AnthropicのClaudeを用いたパイロット実験を通じて、LLMが人間の知能を補完し、Polisの会話をより効率的に運営するのに役立つことを実証します。特に、要約能力が、公衆が集団的な意味形成の演習を行うための新たな方法を可能にし、非常に有望であることを明らかにします。また、LLMのコンテキスト制限が、これらの結果の洞察と品質に大きな影響を与えることも注目に値します。しかし、これらの機会にはリスクも伴います。本論文では、これらのリスクのいくつか、それらを特徴づけ緩和するための原則と技術、およびLLMを採用する可能性のある他の審議的または政治的なシステムへの影響について議論します。最後に、LLMを用いてPolisのようなツールを拡張するための今後の研究の方向性をいくつか提示して結論とします。

English

Polis is a platform that leverages machine intelligence to scale up deliberative processes. In this paper, we explore the opportunities and risks associated with applying Large Language Models (LLMs) towards challenges with facilitating, moderating and summarizing the results of Polis engagements. In particular, we demonstrate with pilot experiments using Anthropic's Claude that LLMs can indeed augment human intelligence to help more efficiently run Polis conversations. In particular, we find that summarization capabilities enable categorically new methods with immense promise to empower the public in collective meaning-making exercises. And notably, LLM context limitations have a significant impact on insight and quality of these results. However, these opportunities come with risks. We discuss some of these risks, as well as principles and techniques for characterizing and mitigating them, and the implications for other deliberative or political systems that may employ LLMs. Finally, we conclude with several open future research directions for augmenting tools like Polis with LLMs.

Polisを用いたスケーラブルな熟議における大規模言語モデルの機会とリスク

Opportunities and Risks of LLMs for Scalable Deliberation with Polis

要旨

Support