BDH-CQ: リカレント潜在推論を用いた文脈内学習

要旨

我々は、インコンテキスト学習とリカレント潜在推論を組み合わせた推論モデルBDH-CQを紹介する。推論時に提示された入力は、モデルのリカレントメモリを継続的に更新する。その後、モデルは高次元潜在空間での反復計算を通じてクエリを解決し、中間推論を言語化しない。我々は、公開されているARC-AGI-1評価セットでモデルを評価し、制御されたARC類似の介入を用いて、デモンストレーションから何を学ぶか、推論された変換をどの程度一貫して適用するか、どの概念が困難なままかを調べる。150Mパラメータの構成は、タスクあたり0.0007ドルの計算された推論コストで、pass@2 29.5%に達する。この動作点は、従来報告されていたARC-AGI-1のコスト・精度パレートフロンティアを打ち破り、ベンチマークのコスト効率における新たな最高水準を確立する。

English

We introduce BDH-CQ, a reasoning model that combines in-context learning with recurrent latent reasoning. Inputs presented at inference time continuously update the model's recurrent memory; the model then solves a query through iterative computation in a high-dimensional latent space, without verbalizing its intermediate reasoning. We evaluate the model on the public ARC-AGI-1 evaluation set and use controlled ARC-like interventions to study what it learns from demonstrations, how consistently it applies an inferred transformation, and which concepts remain difficult. A 150M-parameter configuration reaches 29.5% pass@2 at a computed inference cost of \$0.0007 per task. This operating point breaks through the previously reported ARC-AGI-1 cost-accuracy Pareto frontier, establishing a new state of the art in benchmark cost efficiency.