这篇GROUNDHOG: Grounding Large Language Models to Holistic SegmentationCVPR 2024和你前面看的LISA / GLaMM / PixelLM是一条非常相关的线但它的核心思路又明显不同它不是让 LLM 直接“生成一个 mask 表示”而是把问题改写成——先把图像切成很多候选视觉实体 → 再让 MLLM 根据语言去挑选这些实体最后把选中的候选 mask 合并成真正的 grounding mask。这其实是理解整篇论文最重要的一句话。论文的目标是让 MLLM 的文本输出能够和像素级区域建立对应关系而不只是像 Shikra、Kosmos-2 这类模型那样输出 bounding box。作者认为 box 很难处理不规则物体、stuff、物体部件和多个实例而且一旦 grounding 出错也很难判断究竟是“没找到这个物体”还是“找到了物体但语言匹配错了”。1. GROUNDHOG 想解决什么问题传统 grounded MLLM 往往是language → bounding box coordinates如“the black dog” →但是 box 有个问题比如 “beach“ 是一个不规则的stuff region用 box 很容易把树、人、天空一起框进去。又比如 “the dogs tail” 是一个 object partbox 也很粗。或者 “the three people standing beside the boat” 这是多个实例组成的一组区域。因此作者希望把 grounding 从phrase→box 升级成 phrase→arbitrary pixel mask而且这个 mask 可以对应 thing / stuff / part / text / multiple objects就是题目里的Holistic Segmentation。作者强调候选区域需要覆盖 object、stuff背景区域 / 无固定形状的区域、object parts物体局部、visual text图像中的文字 / 视觉文本 等多种语义粒度因为 proposal候选区域 的覆盖范围直接决定了后续 MLLM grounding 能力的上限。2. 最关键思想把 segmentation 和 language grounding 解耦GROUNDHOG 并不是LLM hidden state→SAM decoder→mask这和之前看的LISA / GLaMM很不一样。它采用Mask Proposal Language-guided Mask Retrieval先产生一堆class-agnostic mask proposals即然后对于一句I seetwo dogsonthe beachMLLM 并不是直接画出 dogs 和 beach而是在已有的 proposal 中判断哪些 mask 对应 two dogs 哪些 mask 对应 beach论文把 grounding 明确拆成两个部分Localization Recognition也就是作者认为这种解耦有三个主要好处mask proposal 网络和 MLLM 可以独立升级出现错误时可以判断是 proposal 没提出来还是语言匹配错了proposal 网络可以替换比如 Mask2Former、SAM 或其他 segmentation specialist。3. 整个模型结构怎么工作整个流程可以概括成Image→Mask Proposals→Visual Entity Tokens→MLLM→Mask Retrieval→Grounding MaskStep 1先得到很多 class-agnostic masks输入图像经过一个 Mask Proposal Model比如一张图里有dog 1、dog 2、grass、sky、dogs head、dogs leg、text region尽量先把这些区域都提出来。class-agnostic entity masks只有“这个区域是什么形状”并不要求知道它是什么类别。论文默认使用的是一个自己改进的Mask2Former而不是普通 Mask2Former。4. Mask2Former 为什么需要改普通 Mask2Former 主要在 COCO Panoptic 上训练最擅长COCO categories但 GroundHog 希望覆盖因此作者把多个 segmentation dataset 合起来包括COCO、LVIS、Entity-v2、Pascal、PACO、MHP-v2、TextOCR 等。而且除了原来的 200 个 entity queries又加入part queries专门寻找、分割物体部件的query如人的手、腿汽车的轮胎等。text queries专门寻找、分割图像中的文字区域的query如路牌、招牌、日历上的字等。从而得到更“holistic”的 mask proposal model。论文的 proposal coverage 实验也显示Mask2Former在PhraseCut、ReasonSeg、TextVQA-X等非COCO场景明显优于Mask2Former。所以可以理解为Mask2Former 的任务不是理解语言它只负责把所有“可能有语义的区域”尽可能切出来。5. 有了 mask 后怎么变成 LLM 能理解的 token这是论文另一个比较关键的地方。假设已经有一个 mask作者不直接使用 Mask2Former 内部的 feature。因为如果 entity feature Mask2Former feature那么 MLLM 就和 Mask2Former 强耦合不方便以后把 SAM 换成其他网络 GroundHog 只使用binary mask然后重新从 pretrained vision model 提取这个区域的特征。他们使用CLIP DINOv2具体过程是然后拿 mask在 feature map 上做得到流程大致完整图像 → CLIP / DINOv2 → 完整 feature map然后把某个 mask缩放到和 feature map 一样大用这个 mask 去筛选对应区域的特征屏蔽mask 外的 feature再经映射到 MLLM 的 embedding space。最后即同时最后再相加这个就是最终的Visual Entity Token。论文实验发现 CLIP 和 DINOv2 联合使用的效果整体最好。所以这里有一个非常清晰的对应例如对应e7 dog 的 visual entity representation6. Visual Entity Tokens 如何进入 MLLM输入给 MLLM 的不只是普通图像 token而是图中所有候选视觉实体的 representations因此 GroundHog 其实把一幅图重新理解成这和一般 VLM的思路明显不同。GROUNDHOG interprets the image as a collection of entities.7.GRD/GRD现在假设模型生成I seeGRDtwo dogs/GRDonGRDthe beach/GRD.GroundHog 在需要 grounding 的 phrase 两侧加入GRD /GRD所以GRD two dogs /GRD 表示这个 phrase 应该对应图中的某些 pixels。这一点和 GLaMM 里的 p ... /p 概念非常接近。区别主要是后续 mask 的产生方法。8.GRDhidden state 怎么变成 mask这是 GroundHog 最核心的一步。对于 phraseGRD two dogs /GRDMLLM 最后一层会产生和两者相加得 Grounding Query可以把理解成“two dogs” 经过整套 MLLM 上下文理解以后得到的语义 representation。短语开始前的上下文状态对应前面的GRD主要包含前文上下文 图像信息 “接下来是一个需要 grounding 的短语”例如它已经知道前面是“I see ...” 以及当前图像的视觉信息但因为two dogs 还在它后面在因果注意力下GRD这个位置本身还不能看到two dogs。读完整个短语后的上下文状态已经看过 “GRD two dogs /GRD”包含前文上下文 图像信息 two dogs 这个短语的信息和前者相比后者最重要的新增内容就是被 grounding 的完整 phrase 的语义对于每个 Visual Entity Token模型计算也就是“two dogs” 和 entity匹不匹配最后每个 mask 都有一个 score论文通过 grounding query 与每个 visual entity token 拼接再由 MLP 预测 entity score。9. 为什么可以 ground 到多个目标这是 GroundHog 很漂亮的一个地方。假设two dogs图中那么可能两个 mask 都会被选中。最后不是取单个 mask而是也就是把多个高分 proposal merge 成一个 grounding mask所以这也是它能够自然支持的原因。10. 和 LISA 最大的不同是什么它不是mask generation思路而更像LISA 大体是也就是language representation → 直接 decode mask而 GroundHog然后即language representation → 选择已有 mask11. 为什么这种设计有“可解释性”假如用户说“KWIK E MART”GroundHog 最后 segmentation 不完整。因为中间过程可以看到以及所以可以发现Mask Proposal Model 其实已经成功把 “KWIK” 区域 proposal 出来了但很低。那么问题显然是论文 Figure 6 就用这个例子说明目标区域实际上已经成功产生 proposal但 MLLM 没有正确识别 “KWIK”因此没有选中对应 mask。这在 end-to-end的模型中要难分析得多。12.PTR是什么GROUNDHOG 不仅支持也支持例如用户指一下图中的狗What is thatPTR?这里代表用户指向的空间区域。用户可能输入point、box、regionGroundHog 先通过 SAM然后再通过前面的 Masked Feature Extractor最后直接替代PTRtoken。于是 LLM 实际上看到的是What is that [这个区域的视觉 entity feature] ?这让模型能够做13. M3G2 数据集在训练什么作者又构造了一个大规模 instruction tuning 数据集主文中描述为image-text pairs来自整理成核心不是简单把很多 segmentation dataset 拼起来而是把不同任务统一转换成grounded visual dialogue 形式。它主要包含四类任务Grounded Image Captioning (GIC)图像 → caption同时 caption 中 phrase → mask。Referring Expression Segmentation (RES)语言 → mask例如 “the man wearing red”。Grounded Visual Question Answering (GVQA)Question → Answer而且 answer 要有 pixel grounding 作为依据。Referential Dialogue (RD)用户可以通过 point / box / region 与模型进行多轮交互。论文对这四类任务的定义分别在第 5 页给出其中 GVQA 的目标尤其值得注意模型不只是回答问题还要给出支持答案的 segmentation mask。14. Grounded Image Captioning 和之前看的 GLaMM 很像如A burger and a pickle sit on a plate.GroundHog 会输出GRD A burger /GRD and GRD a pickle /GRD sit on GRD a plate /GRD.同时所以这部分和 GLaMM 的非常接近。15. 但 GroundHog 比单纯 GIC 更 general如RES用户Segment “laptop barely onscreen not apple”.模型输出GVQA用户What date is shown on the calendar?模型Feb. 2. 同时把 Feb. 2. 对应的图像文字区域 segment 出来。Referential Dialogue用户指着某个区域DescribePTR. 模型Blue container with apples.所以它不是一个单独 segmentation model。它真正想做的是一个统一的 pixel-grounded MLLM论文 Figure 1 就用这四种任务展示了模型能力。16. 实验结果主要想证明什么实际上不是只证明segmentation IoU 很高。作者更想证明GroundHog 是一个 grounding generalist同一个模型、同一套 weights全部可以做。而且论文强调他们报告的这些任务结果来自同一个 M3G2 训练后的模型不进行 dataset-specific fine-tuning。17. 为什么可以减少 hallucinationGROUNDHOG 还有一个比较重要的卖点因为训练数据里包含也就是专门教模型图里没有这个东西时不要瞎说有。此外整个模型又强制语言和视觉实体建立 grounding。作者在 POPE benchmark 上报告GroundHog 在 Random、Popular、Adversarial 三个 split 上都有较高 accuracy / F1并将这种提升归因于更强的 grounding 以及 M3G2 中多样任务与 negative QA 数据。这不是说 pixel grounding ⇒ 彻底解决 hallucination更准确地说是共同改善 hallucination。18. Ablation 的三个结果作者的 ablation 很能说明 architecture 为什么这么设计。1、优于单独使用任意一个。2、grounding query整体效果最好。3、一个很有意思的现象训练时 proposal/grounding 可以用较低分辨率320 px而 inference 时提高 image resolution性能还能继续提高。这得益于 mask proposal model 和 MLLM 被解耦了。19. 论文最大的局限其实也来自它最大的优点GroundHog 的逻辑是先 proposal → 再 select那么显然有proposal recall 决定 grounding upper bound比如用户问“the red brick spire”如果 Mask2Former 只 proposal 出整个 tower而没有那么无论 MLLM 多聪明它都不可能凭空从 tower mask 中切出 spire。论文 Figure 5 就展示了这种情况Mask2Former 只能给出比较大的 “red brick tower” 区域而 SAM 根据用户 spatial prompt 可以得到更加精确的 “spire in red brick”。所以GroundHog 并不真正拥有自由生成任意新 mask 的能力它更准确地说是从一个高 coverage segmentation vocabulary 中进行组合和检索20. 把整篇论文压缩成一张逻辑图你可以把 GroundHog 记成下面这个结构↓↓↓利用 CLIP DINOv2↓得到↓和 language tokens 一起送入↓文本中↓得到↓计算↓选择↓merge所以它真正的核心可以写成21. 如果放到最近看的几篇论文里这样定位它更像核心是核心是强调grounded conversation / grounded captioning。核心更偏强调multi-target pixel reasoning。而GROUNDHOG更像它最大的 architecture idea 不是怎么设计一个更强的 segmentation decoder而是先把视觉世界离散成一组 pixel-level entities然后让语言模型对这些 entities 做 grounding。这一点其实和你现在关注的“VLM 的高级语义能力怎样稳定 grounding 到 pixels”非常贴近。尤其值得继续思考的问题是GroundHog 把 dense prediction 的主要压力转移给了 proposal model那么下一步自然就会问——如果用户要求的概念根本不对应现成 proposalMLLM 能不能通过组合、分解甚至生成新区域来完成真正开放式 grounding这正是它和后面更自由的 pixel reasoning / open-ended grounding 方法之间的重要差别。