AGIのレベル：AGIへの道における進捗の操作化

Levels of AGI: Operationalizing Progress on the Path to AGI

November 4, 2023

著者: Meredith Ringel Morris, Jascha Sohl-dickstein, Noah Fiedel, Tris Warkentin, Allan Dafoe, Aleksandra Faust, Clement Farabet, Shane Legg

cs.AI

要旨

人工汎用知能（AGI）モデルとその前段階となるシステムの能力と振る舞いを分類するためのフレームワークを提案します。このフレームワークでは、AGIの性能、汎用性、自律性のレベルを導入します。このフレームワークが、自動運転のレベルと同様に、モデルを比較し、リスクを評価し、AGIへの進捗を測定するための共通言語を提供することで有用となることを期待しています。フレームワークを開発するために、既存のAGIの定義を分析し、有用なAGIのオントロジーが満たすべき6つの原則を抽出しました。これらの原則には、メカニズムではなく能力に焦点を当てること、汎用性と性能を別々に評価すること、そして終点ではなくAGIへの道筋に沿った段階を定義することが含まれます。これらの原則を踏まえ、能力の深さ（性能）と幅（汎用性）に基づいて「AGIのレベル」を提案し、現在のシステムがこのオントロジーにどのように適合するかを考察します。これらのレベルに対してAGIモデルの振る舞いと能力を定量化する将来のベンチマークの要件について議論します。最後に、これらのAGIのレベルが自律性やリスクなどの展開上の考慮事項とどのように相互作用するかを議論し、高度な能力を持つAIシステムを責任を持って安全に展開するために、人間とAIの相互作用パラダイムを慎重に選択することの重要性を強調します。

English

We propose a framework for classifying the capabilities and behavior of Artificial General Intelligence (AGI) models and their precursors. This framework introduces levels of AGI performance, generality, and autonomy. It is our hope that this framework will be useful in an analogous way to the levels of autonomous driving, by providing a common language to compare models, assess risks, and measure progress along the path to AGI. To develop our framework, we analyze existing definitions of AGI, and distill six principles that a useful ontology for AGI should satisfy. These principles include focusing on capabilities rather than mechanisms; separately evaluating generality and performance; and defining stages along the path toward AGI, rather than focusing on the endpoint. With these principles in mind, we propose 'Levels of AGI' based on depth (performance) and breadth (generality) of capabilities, and reflect on how current systems fit into this ontology. We discuss the challenging requirements for future benchmarks that quantify the behavior and capabilities of AGI models against these levels. Finally, we discuss how these levels of AGI interact with deployment considerations such as autonomy and risk, and emphasize the importance of carefully selecting Human-AI Interaction paradigms for responsible and safe deployment of highly capable AI systems.