AIの長期的タスク遂行能力の測定

要旨

AIベンチマークにおける急速な進展にもかかわらず、ベンチマーク性能の現実世界での意味は依然として不明確です。AIシステムの能力を人間の能力に基づいて定量化するため、我々は新しい指標を提案します：50%-タスク完了時間ホライズン。これは、AIモデルが50%の成功率で完了できるタスクを人間が通常完了するのにかかる時間です。まず、RE-Bench、HCAST、および66の新しい短いタスクの組み合わせにおいて、関連する分野の専門知識を持つ人間の時間を計測しました。これらのタスクにおいて、Claude 3.7 Sonnetのような現在の最先端AIモデルの50%時間ホライズンは約50分です。さらに、最先端AIの時間ホライズンは2019年以降、約7ヶ月ごとに倍増しており、2024年にはその傾向が加速している可能性があります。AIモデルの時間ホライズンの増加は、主により高い信頼性とミスへの適応能力、そしてより優れた論理的推論とツール使用能力によって駆動されているようです。我々は、結果の限界（外部妥当性の程度を含む）と、危険な能力に対する自律性の増加の影響について議論します。これらの結果が現実世界のソフトウェアタスクに一般化される場合、この傾向を外挿すると、5年以内にAIシステムが現在人間が1ヶ月かかる多くのソフトウェアタスクを自動化できるようになると予測されます。

English

Despite rapid progress on AI benchmarks, the real-world meaning of benchmark performance remains unclear. To quantify the capabilities of AI systems in terms of human capabilities, we propose a new metric: 50%-task-completion time horizon. This is the time humans typically take to complete tasks that AI models can complete with 50% success rate. We first timed humans with relevant domain expertise on a combination of RE-Bench, HCAST, and 66 novel shorter tasks. On these tasks, current frontier AI models such as Claude 3.7 Sonnet have a 50% time horizon of around 50 minutes. Furthermore, frontier AI time horizon has been doubling approximately every seven months since 2019, though the trend may have accelerated in 2024. The increase in AI models' time horizons seems to be primarily driven by greater reliability and ability to adapt to mistakes, combined with better logical reasoning and tool use capabilities. We discuss the limitations of our results -- including their degree of external validity -- and the implications of increased autonomy for dangerous capabilities. If these results generalize to real-world software tasks, extrapolation of this trend predicts that within 5 years, AI systems will be capable of automating many software tasks that currently take humans a month.

AIの長期的タスク遂行能力の測定

Measuring AI Ability to Complete Long Tasks

要旨

Summary

Support

Support