ENEAS: 적응형 분할을 위한 임베딩 기반 신경 앙상블

초록

우리는 인스턴스 추적과 의미론적 발견을 위한 통합된 텍스트 프롬프트 기반 방법인 ENEAS를 제시한다. SAM 3를 포함한 최신 기반 모델과 같은 텍스트 프롬프트 기반 분할 모델들은 여전히 시간적 환각, 공간적 분절, 의미론적 오분류 문제를 겪는다. 즉, 객체가 시야를 벗어났을 때 표적의 부재를 보고하지 못하고, 극단적인 근접 촬영에서 전체 객체 대신 지역적 질감을 분할하며, 존재론적 실재보다 시각적 특징을 우선시하여 조각상, 그림, 반사와 같이 시각적으로 유사한 인공물을 표적 개체로 분할한다. ENEAS는 단일 방법으로 두 가지 방식으로 작동한다. 하나는 고유 인스턴스의 정밀 추적과 고품질 분할이고, 다른 하나는 텍스트 질의가 지칭하는 모든 인스턴스를 발견하는 개방형 개념 발견으로, 이는 의미 검증 계층을 통해 해결된다. 추적을 위해, 우리는 이전에 포인트 상호작용으로 제한되었던 기하학적으로 견고한 SeC 아키텍처를 텍스트 프롬프트 어댑터로 확장하고 그 시간적 메모리를 활용한다. 이를 통해 표적이 소멸되는 동안에도 유지되어 방해 요소로 표류하지 않으며, 표적이 전체 시야를 채울 때에도 온전하게 유지된다. 발견을 위해, 검증 계층은 고속 시각 임베딩 매칭과 조건부 VLM 정제를 결합하고, 모호한 후보에 대해서만 의미론적 추론을 호출한다. 이는 시각 전용 모델이 구분할 수 없는 존재론적 오류를 걸러내면서도 지연 시간을 낮게 유지한다. 단 하나의 오분류된 방해 요소가 자산을 손상시킬 수 있는 3D 재구성을 염두에 두고 설계된 ENEAS는 비디오, 광범위한 라이브러리, 그리고 시간적 또는 공간적으로 순서가 정해지지 않은 데이터 컬렉션에 대한 고품질의 의미론적 추적 및 분할을 가능하게 하며, 진짜 인스턴스와 그 도플갱어, 즉 겉보기에는 같지만 동일하지 않은 것들을 구별하는 판별력을 함께 제공한다. 코드와 모델은 https://github.com/speridlabs/eneas 에서 이용할 수 있다.

English

We present ENEAS, a unified, text-promptable method for instance tracking and semantic discovery. Text-promptable segmentation models, including the latest foundation models such as SAM 3, still suffer from temporal hallucinations, spatial fragmentation, and semantic misclassification: they fail to report target absence when an object leaves the field of view, segment local textures instead of the complete object during extreme close-ups, and prioritize visual features over ontological reality, so that visually similar artifacts such as statues, paintings, or reflections are segmented as target entities. ENEAS works two ways from a single method: precise tracking and high-quality segmentation of a unique instance, and open-concept discovery of every instance a text query names, resolved by a semantic verification layer. For tracking, we extend the geometrically robust SeC architecture, previously limited to point interactions, with a text-prompting adapter and leverage its temporal memory, so that the target is held through disappearance without drifting to distractors and kept whole even when it fills the entire view. For discovery, the verification layer combines high-speed visual embedding matching with conditional VLM refinement, invoking semantic reasoning only for ambiguous candidates, which filters out the ontological errors that visual-only models cannot distinguish while keeping latency low. Designed with 3D reconstruction in mind, where a single misclassified distractor corrupts the asset, ENEAS unlocks high-quality semantic tracking and segmentation of video, of broad libraries, and of collections of temporally or spatially unordered data, together with the discrimination to tell true instances from their doppelgangers: things that look alike but are not the same. The code and models are available at https://github.com/speridlabs/eneas