English

ChildSplat:面向三维物体分割的 Anchor-Child 语义高斯表示

1中国科学技术大学
2武汉工程大学
ChildSplat 总览图
ChildSplat 总览。给定多视角图像与二维掩码,我们的方法学习跨视角一致的三维语义群组, 用于掩码渲染、特征可视化以及下游局部编辑。

摘要

在没有昂贵三维标注的情况下,对重建三维场景进行物体级理解仍然具有挑战性。近期的掩码提升方法利用二维基础模型的掩码来监督三维分割,而 Scaffold-GS 等结构化高斯表示为在紧凑语义与细节外观之间取得平衡提供了有用的先验。然而,现有基于 Scaffold-GS 的语义方法通常依赖锚点级或区域级的共享特征,这虽然提升了紧凑性,但对于物体边界和细粒度部件而言往往过于粗糙。我们提出 ChildSplat,一种面向三维物体分割并支持下游编辑的 Anchor-Child 语义高斯表示。从预训练的 Scaffold-GS 场景出发,我们冻结几何与外观场,并在其 anchor-child 结构上学习一个轻量级语义分支。Anchor 编码紧凑的语义上下文,而 child 高斯获得几何感知的残差语义嵌入,并使用冻结的 splatting 权重进行渲染。我们进一步从多视角掩码贡献中推导出 child 级归属监督,将二维掩码证据显式地关联到单个 child 高斯,从而改善细粒度语义归属并减少 child 级选择中的跨物体泄漏。当存在层次化标注时,残差化的叶子监督与轻量级层次感知约束使同一语义场能够同时支持物体级与部件级查询。实验表明,我们的方法学到了紧凑且跨视角一致的三维语义群组,可作为下游局部编辑的语义操作柄(handles)。

方法框架

ChildSplat 方法框架总览

ChildSplat 在预训练且冻结的 Scaffold-GS 表示之上构建一个轻量级语义分支。该语义分支沿袭 anchor-child 结构,分两个阶段训练,并共享同一个线性分类器,将所有语义嵌入映射为类别 logits。

阶段一 — 锚点级语义脚手架: 从预训练且冻结的 Scaffold-GS 场景出发,为每个 anchor 附加一个可学习的语义特征,该特征与用于 RGB 重建的外观特征解耦,anchor 位置仅作为固定的几何条件。anchor 语义 MLP 生成紧凑的 anchor 嵌入,这一 anchor 级的语义脚手架由渲染后的二维掩码监督学习得到,在存储紧凑语义上下文的同时, 保持预训练的几何与外观场不变。

阶段二 — child 语义细化: 冻结 anchor 脚手架后,每个 child 高斯从 anchor 上下文与自身的 child 几何中获得几何感知的残差 语义嵌入,并使用冻结的 splatting 权重渲染。我们进一步从多视角掩码贡献中推导出 child 级归属 监督,将二维掩码证据显式关联到单个 child 高斯,从而改善细粒度语义归属并减少 child 级选择中 的跨物体泄漏。

当存在层次化标注时,残差化的叶子监督与轻量级层次感知约束将同一语义场扩展为同时支持物体级与 部件级查询。anchor 与 child 的预测均由共享的线性头分类,从而将渲染得到的二维预测与三维 child 级语义对齐到统一的语义空间中。

实验结果

在 LERF 上与 Gaussian Grouping 的定性对比
在 LERF 上与 Gaussian Grouping 的定性对比。ChildSplat 产生局部化的物体响应以及连贯的 渲染语义特征。
在 LERF 上针对特定查询的物体掩码渲染
在 LERF 上针对特定查询的物体掩码渲染。
在 3D-OVS 上的多视角语义分割
在 3D-OVS 上的多视角语义分割。
在 3D-OVS 上针对特定查询的分割结果
在 3D-OVS 上针对特定查询的分割结果。
在 LERF-Obj 上所选语义 children 的定性消融
在 LERF-Obj 上所选语义 children 的定性消融。
在 3D-OVS 沙发场景上的部件级查询渲染
在 3D-OVS 沙发场景上的部件级查询渲染。

引用

@inproceedings{dang2026childsplat, booktitle = {Pacific Graphics 2026 - Conference Papers and Posters}, editor = {He, Ying and Thuerey, Nils and Liu, Lingjie}, title = {{ChildSplat: Anchor-Child Semantic Gaussian Representation for 3D Object Segmentation}}, author = {Dang, Haochuan and Zhu, Junke and Wang, Jinshuo and Zhang, Siyuan and Du, Boyan and Huang, Zhangjin and Zou, Lu}, year = {2026}, publisher = {The Eurographics Association}, ISBN = {978-3-03868-327-8}, DOI = {10.2312/pg.20261046} }