ENEAS：埋め込みガイド付きニューラルアンサンブルによる適応的セグメンテーション

要旨

我々は、インスタンス追跡と意味的発見のための、統一的でテキストプロンプト可能な手法ENEASを提案する。SAM 3などの最新の基盤モデルを含むテキストプロンプト可能なセグメンテーションモデルは、依然として時間的幻覚、空間的断片化、意味的誤分類を引き起こす。すなわち、物体が視野から外れたときに対象の不在を報告できず、極端なクローズアップでは対象全体ではなく局所的なテクスチャをセグメント化し、さらに視覚的特徴を存在論的現実よりも優先するため、彫像、絵画、映り込みなどの視覚的に類似した事物が対象エンティティとしてセグメント化されてしまう。 ENEASは、単一の手法で二つの機能を提供する。すなわち、特定の単一インスタンスの精密な追跡と高品質なセグメンテーション、およびテキストクエリが指定するすべてのインスタンスのオープンコンセプト発見であり、後者は意味的検証層によって解決される。追跡では、従来は点によるインタラクションのみに制限されていた幾何学的にロバストなSeCアーキテクチャをテキストプロンプト用アダプタで拡張し、その時間的メモリを活用する。これにより、対象は一時的に視界から消えても保持され、妨害物体へドリフトすることなく、視野全体を占める場合でも完全なオブジェクトとして維持される。発見では、検証層は高速な視覚埋め込みマッチングと条件付き視覚言語モデル（VLM）による精緻化を組み合わせ、曖昧な候補に対してのみ意味的推論を呼び出す。これにより、視覚情報のみのモデルでは区別できない存在論的誤りを除去しつつ、低遅延を維持できる。 3次元再構成を念頭に設計されており、そこでは単一の誤分類された妨害物体がアセットを損ない得る。ENEASは、ビデオ、広範なライブラリ、および時間的または空間的に順序付けられていないデータの集合に対して高品質な意味的追跡とセグメンテーションを可能にし、さらに、見た目は似ているが同一ではない「ドッペルゲンガー」から真のインスタンスを判別する能力を提供する。コードとモデルは https://github.com/speridlabs/eneas で公開されている。

English

We present ENEAS, a unified, text-promptable method for instance tracking and semantic discovery. Text-promptable segmentation models, including the latest foundation models such as SAM 3, still suffer from temporal hallucinations, spatial fragmentation, and semantic misclassification: they fail to report target absence when an object leaves the field of view, segment local textures instead of the complete object during extreme close-ups, and prioritize visual features over ontological reality, so that visually similar artifacts such as statues, paintings, or reflections are segmented as target entities. ENEAS works two ways from a single method: precise tracking and high-quality segmentation of a unique instance, and open-concept discovery of every instance a text query names, resolved by a semantic verification layer. For tracking, we extend the geometrically robust SeC architecture, previously limited to point interactions, with a text-prompting adapter and leverage its temporal memory, so that the target is held through disappearance without drifting to distractors and kept whole even when it fills the entire view. For discovery, the verification layer combines high-speed visual embedding matching with conditional VLM refinement, invoking semantic reasoning only for ambiguous candidates, which filters out the ontological errors that visual-only models cannot distinguish while keeping latency low. Designed with 3D reconstruction in mind, where a single misclassified distractor corrupts the asset, ENEAS unlocks high-quality semantic tracking and segmentation of video, of broad libraries, and of collections of temporally or spatially unordered data, together with the discrimination to tell true instances from their doppelgangers: things that look alike but are not the same. The code and models are available at https://github.com/speridlabs/eneas