CVPR27方向预测——给多模态大模型装上“空间外骨骼”基于CrossGeo与Agent Harness的三视角空间推理数据集与Pipeline仓库https://github.com/ZhongyaoTuo/crossgeo论文链接https://arxiv.org/abs/2605.07978Cross3R模型代码待开源独立于数据集仓库一、一个被Agent Harness暴露出来的根本矛盾2026年多模态大模型MLLM的空间推理能力成为最活跃的研究前沿之一。VSI-Bench、MindCube、BLINK等基准相继建立SpatioLM成为首个在VSI-Bench上突破70分的模型。与此同时一个互补的技术路线正在崛起不改变模型本身而是改进模型周围的执行框架。MUSE提出用可组合的Agent Harness包裹冻结的MLLM在视觉空间规划、视觉感知、多模态推理等任务上取得了一致增益并揭示了一个重要发现——许多MLLM的失败源于Harness层面的缺陷而非模型本身的能力不足。AlloSpatial进一步将Harness范式引入空间推理通过World2Mind认知地图沙盒和空间推理Harness包含工具使用判断、模态解耦线索收集、几何-语义仲裁在VSI-Bench和MindCube上超越了更大的通用模型。但当你把这些方法放到跨视角场景中时一个根本性的矛盾就会浮现Agent Harness擅长让MLLM“用工具来推理”但现有工具几乎全部服务于单视角或同坐标系内的空间任务。MUSE的工具生态围绕网格迷宫、拼图、视觉计数等2D任务构建。AlloSpatial的World2Mind沙盒处理的是室内3D场景中的自中心观测到异中心表示的转换。它们的共同前提是所有观测共享一个可对齐的坐标系工具的作用是“辅助推理”而非“建立跨坐标系的对应关系”。跨视角空间推理从根本上不同。CVSBench的研究表明先进VLM在卫星-街景对之间的极端视角变化下难以维持物体级别和布局的一致性仅靠语言推理只能带来边际改善必须引入显式的视觉空间想象才能显著提升跨视角推理。LinkS²Bench则进一步揭示在UAV-卫星动态跨视角场景中精确的跨视角动态对齐是当前VLM的核心瓶颈——18个代表性VLM与人类基线之间存在显著差距而引入显式的跨视角对齐适配器可以显著改善性能。AirGroundBench在UAV-UGV异构协作场景中发现了同样的模式模型在空间感知上表现尚可但在跨视角对齐和变换密集型推理上遭遇瓶颈且这些缺陷会传播到后续的序列决策中。这些发现指向同一个结论跨视角空间推理的瓶颈不是“推理能力不足”而是“几何对齐能力的缺失”。MLLM能够在单一视角内进行复杂推理但当需要将两个不同坐标系中的观测关联起来时它缺乏一个将几何信息转化为可操作证据的机制。CrossGeo提供了一种此前不存在的解决方案一个天然具有三视角6自由度几何标注的数据集以及一个可复用的跨视角数据采集pipeline。将其与Agent Harness范式结合可以构建一个专门用于跨视角空间推理的Agentic评估与增强框架。二、相关工作图谱Agent Harness与空间推理的技术版图2.1 Agent Harness从LLM到具身智能Agent Harness的核心思想是将模型的推理能力与工具调用、结构化解析、确定性验证、验证引导的修复等模块组合形成一个完整的执行框架。MUSE是这一方向的代表性工作。它包裹任何现成的MLLM通过可组合模块覆盖从感知到工具使用的完整推理路径无需模型重训练即可在多个基准上取得一致增益。MUSE的关键洞察是Harness层面的改进可以与模型层面的优化正交叠加。AlloSpatial将Harness范式专门化到空间推理领域。它的Spatial Reasoning Harness包含三个核心组件工具使用判断决定何时调用哪个工具、模态解耦线索收集从不同感知模态中提取互补的空间线索、几何-语义仲裁在几何证据和语义先验之间做出权衡。World2Mind沙盒将自中心观测转换为结构化的异中心表示使模型能够在统一的认知地图上进行推理。HarnessVLN则面向具身导航任务提出了零样本、无需训练的Agent Harness框架通过统一工具接口协调感知、检索、定位、导航、恢复和终止。与AlloSpatial的区别在于HarnessVLN更强调“空间证据与动作建议的协调”以及“任务进度与执行失败的反馈机制”。在遥感与地球观测领域Agent Harness的应用正在快速扩展。Earth-Agent是首个统一RGB和光谱EO数据的Agentic框架基于MCP工具生态系统支持跨模态推理。RS-Agent通过结构化任务规划和工具编排连接用户意图与专业遥感工作流任务规划准确率超过95%。NORA则是一个专门为GIScience设计的Harness-Engineered自主研究Agent通过21个领域专用工作流技能编排完整的研究生命周期。2.2 跨视角空间推理基准跨视角空间推理的基准建设在2026年取得了显著进展。CVSBench是首个大规模卫星-街景跨视角空间推理基准。它包含3,297个跨视角图像组、9,468个物体级标注和40,679个QA对支持跨视角VQA、跨视角grounding和视角识别三类任务。其核心发现是语言推理只能带来边际改善而引入3D场景想象pipeline可以显著提升跨视角推理这强调了显式视觉空间表示的必要性。LinkS²Bench聚焦UAV-卫星动态跨视角场景将1,022分钟的UAV视频与覆盖200km²的高分辨率卫星图像关联构建了17,900个QA对涵盖感知、定位、关系和推理四个维度的12个细粒度任务。其核心贡献是设计了Cross-View Alignment Adapter证明了显式对齐可以显著改善模型性能。AirGroundBench针对UAV-UGV异构协作场景构建了11个高保真模拟环境中的1,021个同步空-地观测对生成约62,000个双视角VQA实例和115个闭环视觉语言导航回合。它覆盖10种任务类型组织为四个渐进式能力维度空间感知、跨视角对齐、空间变换与推理、具身决策。COSMIC则从协作通信的角度切入。它设置两个静态MLLM Agent在同一3D室内环境中从不同视角观察通过自然语言消息交换来解决空间查询。COSMIC包含899个场景和1,250个QA对覆盖5类任务。其关键发现是MLLM在识别跨视角共享锚点物体上表现最可靠在关系推理上表现较差在构建全局一致地图上几乎失败——即便前沿模型也接近随机水平。2.3 现有工作的共同缺口综合以上脉络可以识别出三个未被填补的缺口缺口一三视角Agentic推理框架的缺失。现有基准最多处理两视角卫星-街景、UAV-卫星、UAV-UGV而CrossGeo的三视角卫星-无人机-地面提供了更丰富的几何约束。COSMIC虽然是多Agent协作但局限于室内场景且仅有两个视角。没有一个框架能让MLLM Agent在三个不同尺度和坐标系的视角之间进行主动的信息收集和推理。缺口二工具生态缺乏跨视角几何对齐能力。MUSE、AlloSpatial、HarnessVLN的工具主要集中在单视角内的感知和操作。对于跨视角空间推理核心工具应该是跨视角几何对齐工具——例如给定一张地面照片中的物体该工具能够在卫星图上定位其位置和朝向。Cross3R的6自由度定位能力天然适合作为这样一个工具的核心但其Agentic封装尚未被探索。缺口三缺乏对“几何一致性”的系统性诊断。现有基准主要评估最终答案的正确性但跨视角空间推理的核心挑战是推理过程中几何一致性是否被维持。COSMIC发现MLLM“持续探索但不收敛”提示我们需要过程级别的诊断指标而非仅看最终准确率。CrossGeo的三视角6自由度标注使得过程级别的几何一致性评估成为可能。三、技术方案CrossView Agent Harness3.1 系统架构总览本文提出的框架暂命名为CrossView Agent Harness的核心思想是将CrossGeo的三视角6自由度几何标注作为Agentic推理的“环境”将Cross3R的跨视角定位能力封装为工具让MLLM Agent通过主动调用工具来收集几何证据并完成空间推理任务。系统包含四个协同组件组件一环境层Environment Layer。CrossGeo的46,302个样本构成了Agent的交互环境。每个样本包含6张图像2卫星、2无人机、2地面和完整的6自由度位姿标注。Agent可以选择查看哪些视角、调用哪些工具、在什么时机请求更多信息。这种“部分可观测”的设定天然适合Agentic范式——Agent不是一次性接收所有信息而是主动决定需要什么信息来解决当前问题。组件二工具层Tool Layer。这是系统的核心创新。工具层封装了以下跨视角几何工具CrossViewLocate给定一张透视图像无人机或地面和卫星图返回该图像在卫星坐标系下的6自由度位姿和位置。底层调用Cross3R或基于CrossGeo训练的轻量级跨视角定位网络。ObjectGround给定一张图像和一段文字描述返回目标物体在该图像中的像素级位置并可选地通过CrossViewLocate将该位置映射到卫星坐标系。GeometricVerify给定两个跨视角物体位置假设通过几何一致性检查如三角测量、共面约束返回验证分数。这个工具的作用是让Agent能够自我验证推理结果。ViewSynthesize给定一张地面照片和卫星图生成该场景从指定新视角的合成图像。底层调用基于Cross3R点云的渲染或扩散模型。ScaleQuery返回当前场景中任意两个物体之间的度量距离估计基于卫星锚定的绝对尺度。组件三Harness层Harness Layer。Harness层负责协调Agent的推理过程包含任务表示模块将用户的自然语言查询解析为结构化的空间推理任务目标物体、参考物体、查询类型、所需精度。工具调度模块基于当前的信息缺口和工具的历史成功率决定下一步调用哪个工具。与MUSE的ReAct风格不同这里的调度需要考虑几何信息的增量价值——调用哪个工具能最大程度地减少空间不确定性。验证与修复模块通过GeometricVerify工具对Agent的中间推理结果进行一致性检查当检测到矛盾时触发修复策略重新调用工具、切换视角、请求用户澄清。认知地图维护模块维护一个跨视角的认知地图将来自不同视角的物体位置统一到卫星坐标系中。这个地图是Agent进行后续推理的共享工作空间类似于AlloSpatial的World2Mind沙盒但扩展到了三视角和室外大规模场景。组件四MLLM层MLLM Layer。包裹一个冻结的MLLM如GPT-4V、Gemini或开源的Qwen-VL负责语义理解、工具调用决策和最终答案生成。MLLM不直接处理几何计算而是通过工具层间接获取几何证据。3.2 三个核心任务设计基于CrossGeo的三视角数据和CrossView Agent Harness的工具集可以设计以下三类具有诊断价值的空间推理任务任务一跨视角物体定位与描述Cross-View Object Localization Description。给定一张地面照片和一张卫星图Agent需要回答类似“从地面照片中这辆红色汽车的视角看卫星图上的蓝色建筑在它的什么方向距离大约多远”的问题。这要求Agent在地面照片中定位红色汽车ObjectGround、将地面照片对齐到卫星坐标系CrossViewLocate、在卫星图上定位蓝色建筑ObjectGround、然后在卫星坐标系中计算两者的相对方向和距离ScaleQuery 几何推理。这个任务的核心诊断价值在于它强制Agent在三个坐标系地面图像坐标系、无人机图像坐标系、卫星坐标系之间进行转换。如果Agent只在单一视角内推理它将无法给出正确的位置和距离。任务二跨视角空间关系推理Cross-View Spatial Relation Reasoning。给定三视角图像卫星无人机地面Agent需要回答类似“无人机照片中的那个停车场在地面照片中是否可见如果可见在哪个方向”的问题。这要求Agent在三视角之间建立物体级别的对应关系而不仅仅是坐标转换。这个任务的诊断价值在于它检验Agent能否在没有显式坐标对应的情况下通过语义特征和空间布局的相似性建立跨视角物体匹配。CVSBench的研究表明这正是当前VLM最薄弱的环节——物体级别和布局一致性在极端视角变化下难以维持。任务三跨视角3D场景想象与验证Cross-View 3D Imagination Verification。给定一张地面照片和卫星图Agent需要回答类似“如果从这个位置向北看你会在卫星图的哪个区域看到什么”的问题。这要求Agent生成一个“心理想象”的图像或场景描述然后通过ViewSynthesize工具进行验证或者通过GeometricVerify检查想象结果与卫星图标注的一致性。这个任务的诊断价值在于它区分了“表面正确的答案”和“几何一致的推理”。Agent可能通过语义先验猜对答案但无法通过几何验证。COSMIC发现的“持续探索但不收敛”现象正是这种几何不一致性的表现。3.3 实验设计基准构建。基于CrossGeo的跨大陆测试集5个场景3,726个样本构建CrossView-Bench。每个场景生成约200个QA对覆盖上述三类任务总计约1,000个QA对。QA对的生成采用混合策略部分由GPT-4V辅助生成并经人工审核部分通过程序化模板生成以确保几何正确性。评估指标。除常规的答案准确率外引入三类过程级指标几何一致性分数Geometric Consistency ScoreAgent的中间推理结果与CrossGeo的6自由度标注之间的一致性。通过检查Agent在认知地图中记录的物体位置与真实位置的偏差来计算。工具调用效率Tool Call Efficiency完成任务所需的平均工具调用次数以及无效调用返回结果未被使用或与已有信息矛盾的调用的比例。收敛性分数Convergence ScoreAgent的推理过程是否在有限步数内收敛到稳定答案。借鉴COSMIC的发现记录Agent是否在多次工具调用后仍然改变答案。对比基线。包括裸MLLM无工具、单视角工具Harness仅有ObjectGround和2D感知工具、双视角工具Harness增加CrossViewLocate但不含三视角认知地图、以及AlloSpatial/MUSE的通用Harness配置。消融实验重点验证(a) 三视角认知地图的贡献(b) GeometricVerify工具的贡献© 工具调度中几何信息增量价值策略的贡献。四、创新点创新点一首个三视角Agentic空间推理框架现有Agent Harness工作最多处理两视角卫星-街景、UAV-卫星CrossView Agent Harness是首个将卫星-无人机-地面三视角统一在同一个Agentic推理循环中的框架。三视角的引入不是简单的“增加一个视角”而是从根本上改变了Agent的信息收集策略——Agent需要决定在什么情况下请求无人机视角的信息比请求地面视角更有价值卫星视角的全局上下文应该在推理的哪个阶段引入创新点二将跨视角6自由度定位封装为Agent工具Cross3R的6自由度定位能力在Agent Harness中被封装为CrossViewLocate工具这使得几何对齐从“模型的内部能力”转变为“Agent的外部工具”。这个设计的意义在于MLLM不需要在参数中编码跨视角几何对齐能力它只需要学会“何时调用CrossViewLocate”以及“如何解释其返回的6自由度位姿”。这降低了MLLM的认知负担同时利用了Cross3R在几何计算上的精确性。创新点三过程级几何一致性诊断CrossView-Bench引入了几何一致性分数和收敛性分数两个过程级指标。这与现有基准只看最终答案正确性的做法形成了根本性差异。在跨视角空间推理中一个“猜对”的答案和一个“推理对”的答案具有完全不同的科学意义。过程级指标能够区分这两种情况为理解MLLM的空间推理机制提供更精细的诊断工具。创新点四基于CrossGeo pipeline的可扩展评估CrossGeo的采集pipeline使得CrossView-Bench可以按需扩展。研究者可以用同一套pipeline采集特定城市、特定地形如山区、沿海、工业区的三视角数据验证Agent在不同地理环境下的泛化能力。这与现有基准使用固定数据集的做法形成了方法论上的差异。五、面临的挑战与开放问题挑战一工具调用的延迟与Agent推理步数的平衡。Cross3R的前向传播需要数秒到数十秒取决于硬件而Agent可能需要多次调用CrossViewLocate。如何在有限的时间预算内完成推理是一个需要实验优化的工程问题。可能的解决方案包括缓存已计算的6自由度位姿、在低置信度时回退到快速的语义匹配工具。挑战二三视角认知地图的表示与更新。如何在MLLM的上下文窗口内表示一个跨视角的认知地图选项包括结构化的JSON表示物体ID、卫星坐标、置信度、自然语言描述“红色汽车位于卫星坐标120, 45朝向东北”、或视觉化的BEV地图叠加。每种表示方式对MLLM的理解能力有不同的要求。挑战三几何验证的鲁棒性。GeometricVerify工具需要处理Agent可能提供的部分正确、部分错误的假设。如果验证工具过于严格Agent可能陷入“反复验证但不收敛”的循环如果过于宽松则失去了诊断价值。如何设计验证的阈值和反馈策略需要仔细的实验调参。挑战四与已有基准的公平比较。CrossView-Bench的任务类型与CVSBench、LinkS²Bench有部分重叠。在论文中需要清晰地建立差异化定位CrossView-Bench的核心贡献不是“更多的QA对”而是三视角设定Agentic工具调用过程级诊断三者的组合。六、发表策略建议目标会议CVPR / ICCV / NeurIPS若强调Agent范式或 ACL若强调语言-空间推理交叉。论文标题建议“CrossView Agent Harness: Tool-Augmented Spatial Reasoning Across Satellite, Drone, and Ground Views”核心贡献的表述框架首个将卫星-无人机-地面三视角统一在Agentic推理循环中的空间推理框架CrossViewLocate等跨视角几何工具的封装与调度策略过程级几何一致性诊断指标的设计与验证在CrossGeo跨大陆测试集上的全面评估与消融实验风险与应对风险一与CVSBench/LinkS²Bench的竞争。这两篇工作已经建立了跨视角空间推理的基准。CrossView-Bench需要在“三视角”和“Agentic”两个维度上建立清晰的差异化。建议在论文中做一个系统性的基准对比表明确展示CrossView-Bench在视角数量、坐标系数量、工具生态、过程级指标等维度上的独特性。风险二Cross3R代码未开源。如果Cross3R代码在投稿截止前仍未发布可以用CrossGeo数据训练一个轻量级的跨视角定位网络作为CrossViewLocate的底层实现。CrossGeo数据集的先行开源使得这一路径完全可行。风险三MLLM的上下文窗口限制。三视角图像多次工具调用返回结果可能超出MLLM的上下文窗口。解决方案包括使用图像压缩/摘要、分层推理先粗后精、以及认知地图的外部存储与检索。结语Agent Harness和跨视角空间推理是2026年计算机视觉与自然语言处理交叉领域最活跃的两个方向。AlloSpatial证明了Harness可以显著增强MLLM的空间推理能力CVSBench和LinkS²Bench揭示了跨视角几何对齐是当前模型的核心瓶颈。CrossGeo的三视角6自由度标注为连接这两个方向提供了理想的基础设施。CrossView Agent Harness的核心思想可以概括为一句话让MLLM不再“硬算”跨视角几何而是通过工具“查询”几何。这个看似简单的转变可能从根本上改变MLLM处理跨视角空间推理的方式——从依赖参数中隐含的空间先验转向依赖外部工具的精确几何证据。项目链接https://github.com/ZhongyaoTuo/crossgeo论文链接https://arxiv.org/abs/2605.07978Cross3R模型代码待开源独立于数据集仓库