VOS-Agent: The 1st Place Solution for the 8th LSVOS Challenge

事实脉络

解读与影响

导读摘要

正文

第八届 LSVOS（Large-scale Video Object Segmentation）挑战赛聚焦于复杂视频目标分割任务，其核心难点在于目标在视频序列中经历严重遮挡、完全消失以及后续重现时，分割模型需要保持对目标的持续追踪与准确掩码输出。根据 arXiv 上公布的摘要信息，VOS-Agent 方案在该挑战赛中获得了第一名。该工作指出，尽管 SAM3 已经提供了较强的可提示掩码能力，但在目标长时间不可见的极端场景下，单纯依赖提示驱动的方式仍面临目标传播的鲁棒性瓶颈。

从技术路径来看，VOS-Agent 的贡献在于围绕 SAM3 的提示机制进行系统化增强。摘要中提到 SAM3 提供「strong promptable mask」能力，这意味着模型可以根据用户或系统给出的提示点、框或掩码来生成分割结果。VOS-Agent 的具体改进细节在摘要中仅给出了部分信息，完整的网络结构、训练策略以及推理流程需查阅论文全文方可了解。不过，从挑战赛第一名的结果可以推断，该方案在遮挡与重现场景下的目标保持能力上取得了显著优势。

LSVOS 挑战赛作为视频目标分割领域的重要评测平台，每年吸引来自学术界与工业界的多支队伍参与。该赛事的评测基准通常涵盖长视频序列、多目标交互以及复杂运动模式等维度，对方法的时序一致性和抗干扰能力提出了较高要求。VOS-Agent 在该赛事中的表现，反映出基于基础分割模型（如 SAM3）进行任务特化增强的研究路线正在成为视频分割领域的有效范式。

值得注意的是，本次 arXiv 同日还发布了多篇与语言模型行为分析相关的论文，包括 LLM 自我反思机制的受控消融研究、AI 智能体规则遵从性的框架效应分析等。这些工作虽然与 VOS-Agent 分属不同研究方向，但共同反映了当前人工智能研究从单一模型能力提升向系统级行为理解与可靠性保障延伸的趋势。

参考来源

来源原文

arXiv:2608.12721v1 Announce Type: new Abstract: Complex video object segmentation requires robust target propagation under severe occlusion, disappearance and reappearance. Although SAM3 provides strong promptable mask propagation, a uniform inference path remains unreliable for tiny targets with insufficient visual evidence and semantic-dominated targets whose identities depend on explicit attributes. To this end, we present VOS-Agent, a collaborative framework that retains SAM3 as the shared dense segmentation module and conditionally activates specialized agents according to target characteristics. A Target Perception and Routing Agent assigns each sequence to a regular, tiny, or semantic-dominated route. Tiny targets are supported by a Visual Tracking Agent through confidence-aware box prompts, while semantic-dominated targets are handled by an MLLM-based Semantic Agent through description-guided localization and candidate verification. On the MOSEv2 test set, VOS-Agent achieves 69.82% on the official $\&}$ metric and ranks first in the MOSEv2 Track of the 8th LSVOS Challenge at ECCV 2026.