你有没有想过一张照片能告诉你多少关于物理世界的信息不只是照片里画了什么而是拍这张照片的相机它到底是歪着拍的还是端正拍的是俯视还是仰视广角还是长焦。这些信息看起来无关紧要但对于一个想要真正理解三维世界的AI来说,它们是地基。地基没打好上面盖的楼再漂亮也会歪。2026年初来自南洋理工大学S-Lab等机构的研究者们发布了一篇论文介绍了一个叫做Puffin-World的模型。它做的事情听起来简单但拆开看会发现每一步都不容易让一个AI同时具备三种能力看懂照片里相机的物理状态、按照你的要求生成新视角的画面、以及把这些画面串成一个连贯的三维世界并重建出几何结构。而且这三件事是在同一个模型里完成的不是拼凑三个独立系统。这篇论文最打动我的地方是它把一个常被忽略的问题重新摆到了台面上现有的生成式世界模型几乎都只在外观这一层做文章。你给它一张图它生成下一帧、下一帧、再下一帧,画面很漂亮但它并不知道重力方向在哪里也不知道地平线在哪里。这就好比一个演员在没有布景参照的绿幕前表演动作可以很流畅但一旦要求他准确指出哪边是天花板他就懵了。三维世界不是一堆像素它有物理状态论文提出了一个核心概念叫做原生三维世界状态。原生三维世界状态论文将物理世界拆解为三个层次物理层重力场和纬度也就是相机相对于重力的朝向、几何层深度信息也就是场景的三维结构、外观层也就是我们平时看到的RGB图像。这个拆分乍一看有点学院派但背后的逻辑其实很朴素。你闭着眼睛也能感觉到自己是站着还是躺着这就是身体对重力方向的感知属于物理层。你伸手摸黑走路时能大致判断前面有多远有障碍物这是几何层。而你睁开眼睛看到的画面,才是外观层。三者缺一不可但过去的AI世界模型基本上只练了睁眼看这一项本事物理感知和几何理解都是缺失的或者靠外部模块硬凑。Puffin-World要做的是让这三层信息在一个模型里同时被感知、被传递、被生成而不是各管一段。一个相机表达式同时装下绝对方向和相对位置要让AI理解相机首先得有一套描述相机的语言。这里论文提出了Omni-Camera表示。Omni-Camera表示一种把每个像素点的相机信息压缩成9个数值的表达方式其中3个数值描述这个像素相对于重力的绝对方向上向量和纬度角另外6个数值描述这个像素对应的光线在三维空间里的起点和方向相对射线。为什么要把绝对和相对这两种信息硬凑在一起因为它们各有各的短板。相对相机表示比如业内常用的Plücker射线嵌入非常适合描述多视角之间的几何关系比如从A视角挪到B视角相机是怎么平移旋转的。但它没有一个固定的参照系就像你只知道自己往左走了三步却不知道左到底是地图上的哪个方向。绝对相机表示正好相反它能告诉你天空在哪、地面在哪但很难连续地描述多视角之间的过渡。论文把这两者拼在一起就是想让模型既知道我现在朝哪个绝对方向看又知道我从上一帧移动到这一帧发生了什么相对变化。这就像开车时同时看导航地图和车内的指南针。指南针告诉你车头朝向的是绝对方位东南西北不会因为你怎么打方向盘而改变参照系导航路线则是相对信息告诉你接下来要左转还是直行。如果只有指南针没有导航你知道朝向却不知道该怎么走到目的地如果只有导航没有指南针遇到复杂立交桥容易转晕方向,因为导航给的是相对指令,一旦累积误差,你可能已经在原地绕了三圈都不自知。Omni-Camera就是把这两种信息焊在一起让模型既不会迷失方向也能顺畅地移动视角。物理传播让重力感知不在长途旅行中失忆光有一个好的相机表示还不够。当模型需要生成一长串连续视角比如模拟一个人在房间里转了好几圈问题就来了绝对方向信息只能从看到的第一帧图像里推断出来后面生成的每一帧,模型压根没见过怎么知道重力在哪论文给出的解法叫物理传播。物理传播模型先用自己的相机理解能力从参考视角也就是最初那张已知图像估计出重力方向然后利用已知的相机相对旋转关系把这个重力方向数学地传递到后续每一个待生成的视角上从而让整条轨迹共享同一个物理参照系。这个设计其实回应了一个非常现实的问题如果不做物理传播会怎样论文的消融实验给出了答案。在测试各种旋转轨迹横滚、俯仰、偏航时去掉物理传播后画面质量下降重力角度误差也明显变大。比如在横滚旋转任务上加上物理传播后PSNR从22.97提升到24.02角度误差从2.35度降到2.04度。数字看起来不大但放到实际场景里2度的误差意味着水平线开始轻微倾斜长时间生成后这种倾斜会累积最终整个场景像喝醉了一样歪向一边。这就像你蒙着眼睛在陌生房间里转圈走路。如果每走一步都能重新确认哪边是门你大概率能走到目的地。但如果只凭第一步的方向感一路推算中间不做任何校准走个十几步后你的方向感会开始漂移最后可能撞到墙上而不自知。物理传播做的就是让模型在走很长一段路的过程中始终记得最初那个重力锚点不会因为累积误差而逐渐失忆。外观和几何一起生成而不是先后两步走Puffin-World另一个值得说的设计是它让外观图像和几何深度在同一个生成过程里被同时预测出来。具体做法是把深度图用一种可逆的颜色映射方式编码成类似RGB图像的三通道形式这样就能复用同一个预训练好的图像编码器不需要单独训练一个深度专用的编码解码器。联合外观几何建模模型在生成每一帧画面的同时也生成对应的深度信息两者共享同一套视觉词汇表和注意力机制只在极少数细节上有区分比如用非对称注意力让外观和文本查询看不到几何token但几何token可以看到一切信息避免深度信息泄露污染外观生成质量。这里有个细节我觉得很聪明。团队没有直接把外观和几何的训练损失简单相加而是用了一个随训练步数逐渐增大的权重让几何分支从零开始慢慢介入,不会一上来就打乱已经收敛好的图像生成能力。这就好比一个已经练得很熟练的厨师突然被要求同时做两道菜。如果让他从第一天起就同时兼顾两道菜的火候,很可能两道都做砸。更合理的做法是先让他专心做好第一道菜到炉火纯青再逐渐加入第二道菜的训练一开始少量参与慢慢加大比重直到两道菜都能兼顾。Puffin-World对几何分支的引入正是这个思路,先让外观生成能力扎实再慢慢教它顺带把深度也画出来。用四个阶段的训练把能力一点点垒起来Puffin-World不是一次训练就学会所有本事的它经历了四个训练阶段。第一阶段做跨模态对齐把视觉编码器和语言模型的输出对上号第二阶段解冻更多模块进行全面微调同时用较小的学习率保护视觉编码器已经学到的东西第三阶段是从单视角生成扩展到多视角三维世界建模这时候模型要学会处理各种复杂的相机运动比如大幅度平移、原地旋转、360度环视第四阶段则激活几何分支让模型学会同时预测深度。这种循序渐进的训练策略本质上是在控制风险。如果一开始就把所有任务混在一起训练模型很容易学得四不像什么都会一点但哪个都不够精。数据集Puffin-16M一次给够1500万组数据一个模型再聪明没有足够的数据喂养也施展不开。论文构建了Puffin-16M数据集包含两个部分。Puffin-16M数据集由Puffin-Cam-15M1500万组视觉-语言-相机三元组覆盖从室内到室外、合成到真实、自动驾驶到旅游拍摄等多种场景图像分辨率和长宽比也更加多样和Puffin-Traj-1M100万条轨迹专门覆盖大幅度旋转和挑战性相机运动两部分组成。为什么要专门造一个包含极端旋转的数据集因为团队发现现有的三维数据集比如ScanNet、DL3DV普遍存在一个问题横滚角度基本被限制在负5度到正5度之间,俯仰角度也只有负10度到正10度。这是因为这些数据大多是手持相机拍的正常人走路拍视频不会大幅度歪头或者仰头。这导致模型在训练时几乎没见过极端旋转的场景,一旦真实测试中出现大角度转动模型就抓瞎了。这就像一个只在平坦公路上学过开车的司机突然被要求在山路连续急转弯的赛道上比赛。平时练的都是直线加减速遇到真正需要大幅度转向的场景反应必然生疏。Puffin-Traj-1M存在的意义就是专门给模型补上这门急转弯的课让它面对长距离探索、极端旋转、复合运动的场景时不至于翻车。值得一提的是团队还顺手给28个公开数据集补充了绝对相机标注覆盖大约4450万张图片。这相当于给整个研究社区留下了一份公共财富其他研究者不用再重复造轮子去标注这些基础的相机物理信息了。实验结果多项任务都拿下最好成绩论文在三大类任务上做了系统评测。在相机到世界理解任务上也就是给一张图判断相机的横滚、俯仰、视场角Puffin-World在MegaDepth、TartanAir、LaMAR、Stanford2D3D四个公开数据集上中位数误差指标全面超过此前最强方法包括专门做相机标定的GeoCalib以及同源的前代模型Puffin。比如在Stanford2D3D数据集上横滚角的中位误差从GeoCalib的0.40度降到了0.29度俯仰角AUC5度指标从52.3提升到73.3。在自由视角空间模拟任务上团队专门造了一个包含600组文本-相机参数配对的评测基准Puffin-Cam-Bench用来对比Puffin-World和一众通用生成模型包括GPT Image2、Nano Banana 2、Qwen-Image2-Pro、FLUX.2-dev、Z-Image。结果相当悬殊这些通用模型生成的图像虽然好看但相机控制的重力角度误差普遍在20多度而Puffin-World把这个误差压到了1度左右。| 方法 | 上向量平均误差 | 重力平均误差 | FID ||---|---|---|---|| GPT Image2 | 24.13° | 28.83° | 99.36 || Nano Banana2 | 24.01° | 28.00° | 90.11 || PreciseCam | 13.37° | 17.07° | 90.89 || Puffin | 3.86° | 4.92° | 80.29 || **Puffin-World** | **0.96°** | **1.32°** | **75.93** |这个差距意味着什么意味着通用大模型虽然能画出漂亮的照片但你如果要求它用45度俯角拍摄它给你的很可能是随便一个角度的图压根没听懂你要的精确控制。这在需要严谨相机控制的场景,比如虚拟拍摄、建筑可视化里几乎是不可用的。在三维世界建模任务上团队在RealEstate10K和自建的Puffin-Traj-Bench上对比了MotionCtrl、CameraCtrl、ViewCrafter、SEVA、MVGenMaster等方法。在更具挑战性的Puffin-Traj-Bench上因为包含更大幅度的旋转和内参变化Puffin-World的相机控制精度全面领先横滚角AUC1度达到0.57是所有对比方法中最高的。意想不到的加分项闭环应用除了单独完成理解、生成、重建这三件事论文还展示了两个组合应用我觉得挺值得单独说一说。第一个是模仿式世界探索给定一段相机轨迹模型可以从同一个初始视角出发按照这条轨迹生成一整套三维世界演化过程,相当于复现某个探索路径。第二个是自校准式世界探索模型自己判断当前观测的重力是否对齐如果发现偏了自己推算出需要的校正动作然后想象出校正后应该看到的画面形成一个闭环。论文里提到这有点像世界-动作模型的交互范式,模型先感知再决策再想象结果,然后循环。这两个能力都没有依赖任何外部模块,全部由同一个多模态模型完成。这说明当理解、生成、几何这三种能力被真正统一进一个模型里之后会自然涌现出一些单独训练某个能力时不会出现的组合玩法。这大概是这类大一统模型最有意思的地方,你不是在拼凑积木而是在给一个大脑同时装上不同的感官然后看它自己怎么把这些感官协调起来用。QAQ1Puffin-World具体能做哪些事情APuffin-World能同时完成三类任务一是从单张图片理解相机的绝对物理状态横滚、俯仰、视场角二是根据文字描述和指定相机参数生成新视角图像三是从一张参考图出发按相机轨迹生成连贯的三维世界并同步重建深度几何。Q2Omni-Camera表示和普通的相机表示有什么区别A普通相机表示要么只有相对位置信息不知道绝对方向要么只有绝对方向信息难以描述连续视角变化。Omni-Camera把两者结合成9通道的信息既包含相对于重力的绝对朝向又包含视角间的相对射线关系因此能同时支持单视角控制和多视角连续生成。Q3为什么要专门构建Puffin-Traj-1M这个数据集A因为现有的三维数据集大多是手持相机拍摄的横滚和俯仰角度变化很小模型很少见过大幅度旋转场景。Puffin-Traj-1M专门收集了100万条包含大幅度旋转、长距离探索、复合运动的轨迹让模型学会应对更具挑战性的相机运动。