HY-World 2.0 WorldStereo 2.0世界扩展原理扩散模型记忆库破解跨轨迹一致性难题【免费下载链接】HY-World-2.0HY-World 2.0: A Multi-Modal World Model for Reconstructing, Generating, and Simulating 3D Worlds项目地址: https://gitcode.com/gh_mirrors/hy/HY-World-2.0HY-World 2.0 是腾讯开源的多模态 3D 世界模型框架能把一段文本或一张图片变成可漫游、可导入游戏引擎的 3D 世界。它的世界扩展环节 WorldStereo 2.0 是整个流水线的核心用扩散模型沿规划好的相机轨迹逐段生成高保真视频再用**全景记忆库PanoramaMemoryBank**跨轨迹检索历史画面从根本上破解了视频扩散模型走两步就忘了自己是谁的跨轨迹一致性难题。本文带你从零看懂这套机制的原理与关键实现。️ 世界扩展在哪一步发生HY-World 2.0 流水线全景HY-World 2.0 的世界生成由四个阶段串联完成WorldStereo 2.0 负责第三阶段世界扩展全景生成HY-Pano 2.0文本/图片 → 360° 全景图轨迹规划WorldNavVLM 引导的相机轨迹规划 避障导航世界扩展WorldStereo 2.0沿轨迹生成照片级真实的关键帧视频 ← 本文主角世界组合WorldMirror 2.0 3DGS多视角对齐、训练 3D 高斯输出可交互 3D 资产输入可以是这样一张全景图WorldStereo 会沿着多条轨迹把画面之外的世界补全出来 跨轨迹一致性难题为什么单靠扩散模型不够视频扩散模型是无状态的每生成一段视频它只认手头的几帧参考图一旦镜头转到新的区域同一个门、同一棵树在不同轨迹里会被重新发明外观、结构、光照都会漂移。更糟的是多段视频各自为政无法保证它们属于同一个 3D 空间——而 HY-World 2.0 的目标恰恰是产出一个原生 3D 一致的世界。WorldStereo 2.0 的解法可以概括为一句话扩散模型负责画得好看记忆库负责画得像同一个世界。 扩散模型侧相机嵌入 点云条件 ControlNetWorldStereo 2.0 的骨干是一个基于 Wan 系列视频 Transformer 扩展的扩散模型worldstereo.py它比纯视频生成多了三类感知能力相机嵌入camera embedding把目标相机位姿编码为[B,6,F,H,W]的特征注入 Transformercamera.py让模型精确知道镜头要往哪走、视角怎么变点云条件 ControlNet用稀疏点云渲染的骨架视频 渲染遮罩作为 ControlNet 条件controlnet.py把生成的画面钉在已有的 3D 几何上抑制结构漂移参考帧 latent 注入记忆库检索到的历史帧经 VAE 编码为reference_latent与目标帧的参考相机嵌入一起做 attention 融合worldstereo.py实现照着老照片画新区域。推理入口封装为 diffusers 风格的统一接口支持多卡 FSDP 与序列并行worldstereo_wrapper.pyworldstereo-memory完整多步推理 记忆库worldstereo-memory-dmd经**分布匹配蒸馏DMD**压缩为 4 步出图速度提升一个量级dmd_scheduler.py默认推荐️ 记忆库侧PanoramaMemoryBank 的检索—注入—回写闭环记忆库是整个方案中最精巧的部分实现在 retrieval_wm.py 的PanoramaMemoryBank类中运行于 video_gen.py 的生成循环里分三步循环执行① 检索retrieval对轨迹上每一个待生成相机用视锥体重叠率FOV overlap在记忆库中找出视角最接近的历史帧find_closest_camera_in_view若候选超过上限默认 8 张会用 DINOv2 相机选择器按相机位置 画面质量打分筛出最优子集。航拍/探索轨迹还有专门的直接沿用前一段历史捷径进一步降低漂移。② 注入生成检索到的参考帧打包成reference_video送入扩散管线pipeline_ref_keyframe.py配合点云 ControlNet 条件生成出的新画面在内容上与历史画面接得上。③ 回写update_memory新视频生成后采样其中的关键帧连同相机参数追加进记忆库——世界就这样越长越大后续轨迹随时可以检索到刚刚生成的区域。检索结果会以视频形式落盘到每条轨迹的memory_inputs/目录方便逐帧复查记忆库究竟喂了哪些参考帧。 对齐闭环WorldMirror 2.0 给记忆库装上 3D 骨架只有像素级一致还不够WorldStereo 还需要所有轨迹落在同一个 3D 坐标系里。这里的秘密武器是 WorldMirror 2.0——一个前馈式重建模型每条轨迹生成后记忆库会调用 WorldMirror 2.0 为全部参考帧预测深度apply_worldmirror通过逆深度仿射对齐含 k、b 异常值剔除把新帧点云与全局点云严格配准retrieval_wm.py对齐后的全局点云导出为aligned_pcd.ply成为下一批轨迹 ControlNet 条件的3D 骨架。于是形成了一条自我增强的闭环生成 → 深度对齐 → 点云变大 → 条件更准 → 生成更一致这正是跨轨迹一致性得以收敛的关键。 世界扩展快速上手环境准备与依赖安装见项目主文档requirements.txt世界生成模块的完整说明在 worldgen README。完成阶段 1、2轨迹规划与点云渲染后世界扩展只需一条命令8 卡 FSDP 为例CUDA_VISIBLE_DEVICES0,1,2,3,4,5,6,7 torchrun --nproc_per_node 8 video_gen.py \ --target_path /path/to/your/scene --fsdp常用参数--model_type worldstereo-memory-dmd4 步加速默认、--max_reference 8记忆库参考帧上限、--skip_exist断点续跑。生成结果与记忆库输入会累积在场景目录的render_results/下数据布局详见 worldgen README。 关键文件索引模块路径作用世界扩展入口video_gen.py多卡生成主循环检索 → 推理 → 回写记忆库记忆库src/retrieval_wm.pyPanoramaMemoryBank检索、回写、WorldMirror 对齐扩散骨干models/worldstereo.py相机嵌入 ControlNet 参考帧注入ControlNetmodels/controlnet.py点云渲染条件控制推理封装models/worldstereo_wrapper.pydiffusers 风格统一加载接口生成管线models/pipelines/pipeline_ref_keyframe.py关键帧 参考帧扩散推理写在最后WorldStereo 2.0 的设计哲学很有启发性它没有试图训练一个记住一切的巨型模型而是把记忆显式外置成一个可检索、可对齐、可生长的全景记忆库再让扩散模型在 3D 先验的约束下做高分辨率补全。扩散模型 记忆库的组合既保留了生成质量又拿回了跨轨迹的 3D 一致性——这正是 HY-World 2.0 能从一段视频跨向一个世界的核心所在。【免费下载链接】HY-World-2.0HY-World 2.0: A Multi-Modal World Model for Reconstructing, Generating, and Simulating 3D Worlds项目地址: https://gitcode.com/gh_mirrors/hy/HY-World-2.0创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考