HY-World 2.0 一致性之秘PanoramaMemoryBank检索式记忆如何破解长轨迹漂移【免费下载链接】HY-World-2.0HY-World 2.0: A Multi-Modal World Model for Reconstructing, Generating, and Simulating 3D Worlds项目地址: https://gitcode.com/gh_mirrors/hy/HY-World-2.0HY-World 2.0 是一个多模态世界模型能够从全景图重建、生成并模拟 3D 世界。其中最令人头疼的问题是当相机沿着轨迹走得很远时生成的新视角会“忘记”之前看到的场景画面逐渐漂移、变形。HY-World 2.0 的答案是PanoramaMemoryBank——一套基于检索式记忆的机制它把已经生成的画面当作“记忆库”在生成每一帧前检索最相似的参考视图注入模型从而破解长轨迹漂移难题。为什么“漂移”是世界生成的最大痛点视频扩散模型天生是“逐窗口”生成的每次只看着有限的上文预测接下来的几秒。问题在于——上文窗口有限走 10 步之后的画面早已不在注意力窗口里误差会累积第 5 秒生成得稍有偏差第 30 秒的模型会把偏差当作“事实”继续画下去绕回原点时“认不出”轨迹绕一圈回到起点模型却没有看到过“刚才的起点”于是同一个门廊画出了两种样子。HY-World 2.0 在 hyworld2/worldgen/README.md 中把 WorldStereo 2.0 的三大组件列为Transformer 骨干、PanoramaMemoryBank检索式记忆与 DMD 蒸馏加速。下面拆解记忆库是如何工作的。第一步把全景图变成“记忆种子” 整个记忆体系始于输入的一张 360° 全景图。以官方示例为例PanoramaMemoryBank初始化时会做三件事见 hyworld2/worldgen/src/retrieval_wm.py装载记忆库读取场景下render_results/pano_bank中预先渲染好的参考图像、深度图与相机内外参ref_frames/ref_depths/ref_w2cs装载全局点云读取global_pcd.ply全局点云并做自适应体素下采样约 200 万点供后续深度对齐使用装载辅助模型MoGe 单目深度模型与 SAM3 分割模型用于后续的“记忆对齐”。可以把pano_bank理解为记忆的“第一手种子”——在模型还没生成任何新画面之前记忆里已经有了对全景场景的第一批忠实记录。第二步逐帧检索“最熟悉的视角” 生成新轨迹前记忆库的核心方法retrieval()会为轨迹上的每一帧目标相机从记忆库里找到“看得最像”的参考帧retrieval_wm.py#L908-L1031。它的打分逻辑非常直观视锥体重叠度FOV overlap用内参和外参构建两个相机的视锥体计算体积重叠比例——重叠越大说明两帧看到的内容越接近角度惩罚两相机朝向夹角越大得分越低避免“位置接近但方向相反”的假匹配find_closest_camera_in_view捷径加成对航拍、环视等特定轨迹直接优先复用同一视线下前一条轨迹的历史帧保证相邻轨迹的强一致性。选中的参考帧会被拼进生成管线与轨迹的点云渲染共同作为 WorldStereo 的 ControlNet 条件注入——换句话说模型每画一帧都“看得见”自己曾经画过的画面漂移自然被锚定住。第三步参考帧太多用质量感知 FPS 精选到 8 张如果轨迹很长逐帧检索可能命中几十张不同的参考帧直接全塞进模型会超预算。CameraSelector负责“众里挑八”用DINOv2提取图像语义特征提取相机位姿特征按 7:3 融合用拉普拉斯方差清晰度、信息熵、对比度计算每张图的质量分做带质量偏置的最远点采样FPS从命中结果中挑出最多 8 张max_reference8空间分布均匀且画质最好的参考帧CameraSelector.select。这一步保证了注入的参考帧“既有代表性又干净可靠”。第四步边生成边记忆再回头“校对” ✍️记忆库不是只读的。在 video_gen.py 的主流程中每生成完一条轨迹update_memory()从生成结果中均匀采样 8 帧连同相机参数一起追加进记忆库供后续轨迹检索retrieval_wm.py#L1033-L1055apply_worldmirror()把所有记忆帧喂给 World Mirror世界重建模块重建出一致的多视图几何先验alignment()用 MoGe 深度 全局点云渲染的“引导深度”逐帧拟合尺度/偏移 (k, b)把生成画面的深度拉到全局坐标系_detect_kb_anomalies()在多个锚点深度上检验每帧 (k, b) 的映射是否偏离全局中位数用 P90 阈值筛掉异常帧——个别“画歪了”的记忆帧不会污染整体。全部轨迹跑完后export_pcd()会把校正过的记忆帧反投影、拼接、去异常点导出一份与原始点云融合的aligned_pcd.ply——它随后成为 3DGS 训练数据的一部分让最终可交互世界同样“前后一致”。实战演示检索式记忆下的连贯生成 下面是使用worldstereo-memory-dmdDMD 四步加速 记忆检索生成的轨迹渲染效果可以看到长轨迹中场景细节保持稳定如何跑起来最小上手路径准备一张 360° 全景图格式参考 examples/worldgen/case000/panorama.png按 hyworld2/worldgen/README.md 依次执行NavMesh 轨迹规划 → 点云渲染 →video_gen.py记忆式生成→ 3DGS 训练world_gs_trainer.py关键参数建议--model_type worldstereo-memory-dmd默认推荐、--max_reference控制参考帧上限。生成的每条轨迹目录下都会留下memory_inputs/文件夹里面就是检索出的参考帧与ref_index映射非常适合打开看看“模型到底参考了谁”。总结PanoramaMemoryBank 的精髓可以用一句话概括把“遗忘”变成“检索”——环节解决的问题关键实现全景记忆种子初始场景没有历史pano_bank预载图像 深度 相机FOV 重叠检索新帧与历史画面脱节retrieval() 角度惩罚质量感知精选参考帧超预算DINOv2 FPS 选 8 帧记忆闭环误差跨轨迹累积update_memory World Mirror 对齐 异常剔除世界模型生成得越长记忆的价值就越大。HY-World 2.0 用这套检索式记忆让“绕回起点还能认出那扇门”成为可能。【免费下载链接】HY-World-2.0HY-World 2.0: A Multi-Modal World Model for Reconstructing, Generating, and Simulating 3D Worlds项目地址: https://gitcode.com/gh_mirrors/hy/HY-World-2.0创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考