LatentChem: 化学推論におけるテキストCoTから潜在思考へ

要旨

化学分野の大規模言語モデル（LLM）は、複雑な推論を実行する際に自然言語による明示的な連鎖思考（CoT）に依存することが主流である。しかし、化学推論は本質的に連続的かつ構造的な性質を持ち、これを離散的な言語トークンに強制的に変換することは、効率と性能の両方を制限する根本的な表現のミスマッチを引き起こす。本論文ではLatentChemを提案する。これは潜在推論インターフェースであり、化学計算をテキスト生成から分離することで、モデルが連続的な潜在空間内で直接多段階推論を実行し、最終出力のみを言語として生成することを可能にする。特筆すべきは、タスクの成功のみを最適化した場合、モデルが自発的に推論を内部化し、冗長なテキストによる導出を次第に放棄して、暗黙的な潜在計算を優先するという一貫した創発的振る舞いが観察された点である。この転換は単なるスタイルの変化ではなく、計算上有利である。多様な化学推論ベンチマークにおいて、LatentChemはChemCoTBenchにおいて強力なCoTベースのベースラインに対し59.88%の非引き分け勝率を達成し、平均10.84倍の推論速度向上を実現した。我々の結果は、化学推論が離散化された言語の軌跡ではなく、連続的な潜在ダイナミクスとしてより自然かつ効果的に実現されるという経験的証拠を提供する。

English

Chemical large language models (LLMs) predominantly rely on explicit Chain-of-Thought (CoT) in natural language to perform complex reasoning. However, chemical reasoning is inherently continuous and structural, and forcing it into discrete linguistic tokens introduces a fundamental representation mismatch that constrains both efficiency and performance. We introduce LatentChem, a latent reasoning interface that decouples chemical computation from textual generation, enabling models to perform multi-step reasoning directly in continuous latent space while emitting language only for final outputs. Remarkably, we observe a consistent emergent behavior: when optimized solely for task success, models spontaneously internalize reasoning, progressively abandoning verbose textual derivations in favor of implicit latent computation. This shift is not merely stylistic but computationally advantageous. Across diverse chemical reasoning benchmarks, LatentChem achieves a 59.88\% non-tie win rate over strong CoT-based baselines on ChemCoTBench, while delivering a 10.84times average inference speedup. Our results provide empirical evidence that chemical reasoning is more naturally and effectively realized as continuous latent dynamics rather than discretized linguistic trajectories.

LatentChem: 化学推論におけるテキストCoTから潜在思考へ

LatentChem: From Textual CoT to Latent Thinking in Chemical Reasoning

要旨

Support