Уровни ИИО: Операционализация прогресса на пути к искусственному общему интеллекту
Levels of AGI: Operationalizing Progress on the Path to AGI
November 4, 2023
Авторы: Meredith Ringel Morris, Jascha Sohl-dickstein, Noah Fiedel, Tris Warkentin, Allan Dafoe, Aleksandra Faust, Clement Farabet, Shane Legg
cs.AI
Аннотация
Мы предлагаем концепцию для классификации возможностей и поведения моделей Искусственного Общего Интеллекта (ИОИ) и их предшественников. Эта концепция вводит уровни производительности, универсальности и автономности ИОИ. Мы надеемся, что данная концепция будет полезна аналогично уровням автономного вождения, предоставляя общий язык для сравнения моделей, оценки рисков и измерения прогресса на пути к ИОИ. Для разработки нашей концепции мы анализируем существующие определения ИОИ и выделяем шесть принципов, которым должна соответствовать полезная онтология для ИОИ. Эти принципы включают фокусировку на возможностях, а не на механизмах; отдельную оценку универсальности и производительности; и определение этапов на пути к ИОИ, а не концентрацию на конечной цели. С учетом этих принципов мы предлагаем «Уровни ИОИ», основанные на глубине (производительности) и широте (универсальности) возможностей, и рассматриваем, как текущие системы вписываются в эту онтологию. Мы обсуждаем сложные требования к будущим тестам, которые количественно оценивают поведение и возможности моделей ИОИ в соответствии с этими уровнями. Наконец, мы рассматриваем, как эти уровни ИОИ взаимодействуют с аспектами внедрения, такими как автономность и риск, и подчеркиваем важность тщательного выбора парадигм взаимодействия человека и ИИ для ответственного и безопасного внедрения высокоэффективных систем ИИ.
English
We propose a framework for classifying the capabilities and behavior of
Artificial General Intelligence (AGI) models and their precursors. This
framework introduces levels of AGI performance, generality, and autonomy. It is
our hope that this framework will be useful in an analogous way to the levels
of autonomous driving, by providing a common language to compare models, assess
risks, and measure progress along the path to AGI. To develop our framework, we
analyze existing definitions of AGI, and distill six principles that a useful
ontology for AGI should satisfy. These principles include focusing on
capabilities rather than mechanisms; separately evaluating generality and
performance; and defining stages along the path toward AGI, rather than
focusing on the endpoint. With these principles in mind, we propose 'Levels of
AGI' based on depth (performance) and breadth (generality) of capabilities, and
reflect on how current systems fit into this ontology. We discuss the
challenging requirements for future benchmarks that quantify the behavior and
capabilities of AGI models against these levels. Finally, we discuss how these
levels of AGI interact with deployment considerations such as autonomy and
risk, and emphasize the importance of carefully selecting Human-AI Interaction
paradigms for responsible and safe deployment of highly capable AI systems.