前段时间我在折腾智能家居项目时冒出一个需求客厅那台吊扇到底把风吹到了哪里不同档位下气流覆盖范围差多少靠身体感受只能说个大概而每次为了这种大致看看的问题去搬出CFD或者激光粒子测速又实在不值当。于是我想到了一个组合方案用VLM视觉语言模型直接读摄像头画面把气流特征结构化出来再在Unity里做三维可视化。这个思路听上去有点绕但实测下来确实能快速给出一套可见、可量化、可回放的气流分析结果。这篇文章就把整个方案的链路拆开讲清楚数据怎么采集、VLM分析怎么写提示词、Unity侧怎么把参数变成可视粒子、实测中到底有哪些坑以及这个低成本气流分析思路还能扩散到什么场景。如果你手里有台Unity引擎想给家里的风扇、空调甚至新风系统做一次看得见的风的观察这篇文章可以直接当操作手册用。1. 为什么选择VLMUnity做气流分析传统路径的性价比瓶颈1.1 传统CFD和物理实验的门槛在哪聊吊扇气流绕不开CFD计算流体力学。用ANSYS Fluent或者OpenFOAM这类软件算一个吊扇的流场光建模就得走完好几步先要把吊扇的三维几何做出来然后划分体网格设置旋转区域选湍流模型k-epsilon、k-omega、LES这一套再设定边界条件和时间步长。就算一切顺利一套中等网格规模的瞬态仿真也要在工作站上跑几个小时甚至一晚上。对大多数想看看我家吊扇风往哪吹的人来说这个成本根本不合理。物理实验路径同样不轻松。最标准的粒子图像测速PIV要激光片源、高速相机、同步控制器一套入门设备在大几万到十几万低成本一点的烟雾法也就是拿发烟器配合人工观察得到的结果基本是定性描述很难输出气流偏转角度约15度、扩散角约40度这种数值化的结论。所以我的核心判断是普通场景的气流分析不需要高精度需要的是低成本、快出结果、能直观展示。这正是VLMUnity的切入点。1.2 VLM的价值人眼观察的升级版VLMVisual Language Model视觉语言模型本质上是个能看图的AI。它和纯文本大模型不一样的地方在于可以同时处理图像和语言指令。你给它一张吊扇运行中的烟雾照片它可以回答烟雾主要往哪个方向飘扩散范围大概多大中心区域和边缘区域的流速差异并且按你要求的结构化格式输出JSON数据。这个过程实际上就是把过去只能靠人眼和经验判断的工作交给了一个能批量处理、输出格式统一、还不容易累的实习生。它当然测不出气流场里精确到毫米每秒的速度但做快速气流感测、方案对比、形态分类精度完全够用。1.3 这套方案适合谁我总结下来三类人最适合智能家居爱好者想给家里的风扇、空调做直观可视化Unity开发者手里有现成场景想接入环境感知数据做方案设计的人比如暖通、室内布局需要在方案汇报里快速展示空气流动趋势如果你已经有Unity开发基础这套方案半天就能跑通如果还没接触过Unity花一晚上熟悉粒子系统也差不多能跟上。下面我按完整的链路顺序来讲。2. 从视觉输入到结构化参数VLM分析链路的设计整套系统的第一个关键阶段是把摄像头画面变成一组可用的结构化参数。这个阶段做得够不够扎实直接决定Unity那边的可视化效果。2.1 数据采集示踪物、机位和曝光控制VLM认不出透明无色的风必须借助示踪物来让空气流动现形。吊扇场景里最好用的是两种烟和丝线。烟我推荐用电热蚊香液或者干冰雾。电热蚊香液便宜、稳定、发烟均匀缺点是烟量小适合近距离拍摄干冰雾量大、白且浓视觉效果最理想但保存和使用相对麻烦。丝线则是把轻质棉线剪成5到8厘米的小段绑在细杆支架上分布在吊扇下方不同高度。丝线对气流方向非常敏感比烟雾更容易让VLM判断出运动倾向。拍摄环境有个硬性要求背景要暗示踪物要亮。我用纯黑无纺布当背景用侧逆光打亮烟雾对比度拉满。VLM在低对比度图片下的表现会明显变差这个后面踩坑部分细说。机位方面最少两个角度侧面45度机位负责捕捉气流向下扩散的形态正下方仰机位负责观察覆盖范围。有条件的再加一个顶部斜向机位形成三视角矩阵每个视角拍10到15秒的30fps视频取3到5个关键帧组成一组多角度输入给VLM。2.2 提示词设计怎么让VLM输出可用参数提示词是整个VLM分析链路里最讲究的部分。我第一次测试时只给了一句分析这张图的烟雾流动得到的回答是一段漂亮的自然语言描述但没法直接用。第二次我改成了结构化填空让模型在固定字段里输出效果立刻不一样了。一个经过多轮调整后稳定好用的提示词范例如下建议用英文VLM对复杂视觉空间关系的中文理解确实不如英文稳定You are a fluid motion analyst. Observe the ceiling fan smoke images. Answer strictly in JSON with the following fields: { flow_direction_azimuth: float, // degrees, 0 camera right, positive clockwise flow_downward_angle: float, // degrees from vertical, 0 straight down spread_angle: float, // total cone angle of the smoke plume velocity_profile: center_fast | edge_fast | uniform, turbulence_intensity: float, // 0.0 to 1.0 effective_range_meter: float, // estimated horizontal reach rotation_observed: boolean } Base your answers on the smoke plume shape and motion clues only. If the image is unclear, set confidence_low to true.这里有几个细节值得展开。第一给出坐标系约定。VLM没有物理空间的概念它只能基于图片里左边是哪里、右边是哪里来回答。所以我在提示词里明确写了0度表示相机右侧方向顺时针为正。如果你不说它给的角度就是随机参照系后续映射到Unity会全乱。第二字段类型和取值域要写死。比如turbulence_intensity只要0到1的浮点数velocity_profile只能是枚举值。这样VLM再怎么自由发挥也会被按回可解析的框架里。第三给例证。我在提示词后面加过一个简短示例如烟雾整体向图片右下方扩散且轮廓平滑则flow_direction_azimuth约为30turbulence_intensity约为0.2。给了这个例子之后JSON解析失败率明显下降。2.3 输出校验与人工标定VLM输出不是百分百可信的需要一个轻量级的校验环节。我在项目里做了三件事给每个机位发一组独立请求生成3份JSON取中位数而非平均值因为VLM偶发的离群值会严重拉偏均值在画面里放一个带刻度的半圆量角器半透明塑料片作为视觉标尺让VLM回答角度时有参照物误差会小很多让VLM输出confidence_low字段当置信度低时Unity端就把那批粒子透明度降到20%以下避免不可信数据干扰观感实测下来带量角器和多视角取中位数的组合角度误差能控制在5度上下方向判断基本可靠。对一个大体量可视化需求来说这个精度完全可以接受。3. Unity侧的气流可视化粒子系统和Visual Effect Graph的取舍参数拿到手接下来就是Unity表演的舞台了。我先后试了两套方案普通Particle System和Visual Effect GraphVEG各有各的适用场景。3.1 室内场景搭建与摄像机设置场景本身没什么花活我用Unity里的Primitive快速拼了一个5x5米的房间一个Plane当地板几个Cube当墙壁和家具。关键在两点。一是比例尺。房间的尺寸必须和拍摄现场一致。VLM输出的effective_range_meter是2.8米Unity里的房间就得是真实的2.8米范围粒子发射器放在吊扇的位置天花板中央偏下0.3米这样视觉上才不是漂在空中的假数据。二是摄像机路径。气流可视化最忌讳固定机位死盯一个角度。我做了两条飞行路径一条从侧面绕到正面观察扩散形态另一条从天花板往下俯冲贴近粒子群观察细节。用Unity的Timeline做关键帧动画就行比写代码控制方便得多。3.2 把JSON参数映射成粒子发射器参数假设VLM返回了这样一份JSON这是实测中的真实形态{ flow_direction_azimuth: 85, flow_downward_angle: 12, spread_angle: 42, velocity_profile: center_fast, turbulence_intensity: 0.65, effective_range_meter: 2.8 }在Unity C#脚本里我先把这份JSON反序列化成一个类再用类字段去控制Particle Systemusing UnityEngine; [System.Serializable] public class AirflowData { public float flow_direction_azimuth; public float flow_downward_angle; public float spread_angle; public string velocity_profile; public float turbulence_intensity; public float effective_range_meter; } public class AirflowEmitter : MonoBehaviour { public ParticleSystem fanParticleSystem; public AirflowData data; void ApplyAirflowData() { var shape fanParticleSystem.shape; shape.shapeType ParticleSystemShapeType.Cone; shape.angle data.spread_angle; var main fanParticleSystem.main; main.startSpeed new ParticleSystem.MinMaxCurve( MapVelocityProfile(data.velocity_profile)); var velocityOverLifetime fanParticleSystem.velocityOverLifetime; velocityOverLifetime.enabled true; velocityOverLifetime.orbitalY MapAzimuthToTangent(data.flow_direction_azimuth); var noise fanParticleSystem.noise; noise.enabled true; noise.strength MapTurbulence(data.turbulence_intensity); } }这段代码里有个细节当时调试了很久flow_direction_azimuth不能直接粗暴地设为粒子初速度的方向因为吊扇的气流轴基本是垂直向下的水平偏转是整体流场受环境影响的漂移。处理方式是用一个很小的水平速度分量叠加到向下主速度上让粒子群整体缓慢地往85度方向偏移而不是把粒子发射方向整个扭过去。例如向下速度设为3m/s水平偏移速度则取0.3m/s这样最终粒子在落到2.8米外时才会显现出明显的偏向性。3.3 用湍流和涡旋节点丰富气流细节普通Particle System自带的Noise模块能模拟随机抖动但气流里真正的湍流细节它表现不出来。这也是我后来推荐在桌面端直接上VEG的原因。VEG里有两个节点对这个场景帮助极大。第一个是Turbulence节点。它用Perlin噪声生成一个连续的三维扰动场粒子在这个场里会自然地产生卷曲和翻滚特别像真实气流中的涡旋结构。把turbulence_intensity直接映射到Turbulence节点的Strength参数上0.65的强度在VEG里大约相当于中等偏强的涡旋感。第二个是Attraction节点。吊扇气流有个明显特征出风区域是一个圆锥但圆锥边缘有回流也就是空气从外侧向上补充。用Attraction节点在发射器两侧各放一个虚的力场中心把粒子缓慢向中心拉回来就能做出这个回流效果。这个视觉细节是纯Particle System很难实现的。如果只在移动端或者WebGL上跑VEG的GPU粒子可能撑不住可以退回到普通Particle System加多层粒子叠加的思路一个Cone喷口做主体气流一个Sphere-Shell发射器做环境扰动粒子再用Noise模块补湍流的随机感。效果比VEG粗糙一点但移动端能稳定60帧。4. 实测过程踩过的几个坑识别率、对比度与参数漂移纸上谈兵的部分讲完实际动手跑的时候问题一个接一个。这部分是我觉得最有分享价值的。4.1 VLM不是测速仪别让它做精确的定量判断第一次拿单张烟雾图给VLM分析它给的结果相当漂亮但仔细看会发现flow_downward_angle在不同帧之间的波动很大有时候12度有时候35度。为什么因为VLM本质上是在做模式匹配不是真的在做运动分析。它对烟雾的形敏感对速和细微角度差并不敏感。一张静止图片里的烟雾形态被重力、环境风和拍摄角度共同影响VLM很难把它分解成独立参数。解决方案是加约束用多帧而不是单帧。把同一机位连续三帧按前后顺序拼接成一张横向长图发给VLM模型能从烟雾形态的连续变化中推断运动趋势角度的稳定性立刻提高了。实测中三帧拼接后连续三次请求的角度结果标准差从8度降到了2.3度。4.2 对比度与背景干扰是识别率分水岭我还遇到过背景墙是白墙的情况下白色烟雾几乎完全消失VLM直接报错说图像中未检测到烟雾。这东西听上去很基础但实际调试时就是容易栽跟头。后来我把整个拍摄场景改成了黑背景侧逆光烟雾量加大识别率从55%直接跳到92%。另外画面上如果有人的肢体或面部VLM会自动把注意力分到人身上烟雾描述反而变模糊。所以拍摄时画面里尽量只有吊扇和示踪物非必要不入镜。4.3 参数漂移数据在意料之外的地方失真还有个挺隐蔽的问题VLM生成的effective_range_meter也就是水平覆盖范围在烟雾扩散充满整个画面时会出现系统性高估。因为烟雾一旦占据了画面三分之一以上的面积模型会倾向认为分布很广哪怕实际范围只有1.5米。我在标定环节加入量角器也只能解决角度问题范围问题靠的是设置一个最大画面占比逻辑当烟雾面积占比超过30%时强制把effective_range_meter封顶为2.2米再配合多机位的中位数统计结果才稳定下来。4.4 Unity端的两个小坑Unity侧也踩了两个不大不小的问题。第一个是JsonUtility解析VLM输出时模型偶尔会输出带json代码块包裹的JSON文本直接反序列化会报错。处理方式是先做一步字符串清洗去掉代码块标记和首尾空白再走反序列化public static string CleanJson(string raw) { raw raw.Trim(); if (raw.StartsWith()) { int firstNewline raw.IndexOf(\n); int lastNewline raw.LastIndexOf(\n); raw raw.Substring(firstNewline 1, lastNewline - firstNewline - 1); } return raw.Trim(); }第二个是粒子数量的性能问题。普通Particle System如果开到5万粒子桌面端还能跑但Timeline摄像机一旋转多角度帧率就跌到40以下。VEG的5000粒子就能做出同等甚至更好的视觉密度因为它支持Mesh粒子和支持自定义属性粒子占用比Sprite粒子低。所以我最终是桌面端跑VEG、移动端跑精简Particle双轨方案。5. 这套方案的扩展方向从吊扇到空调、新风和数字孪生跑通吊扇这个案例后我很快意识到这套方法的边界比想象中宽凡是看得见流体运动形态的场景都能用同一套链路去处理。5.1 空调与新风系统对比空调出风口的气流分析比吊扇更复杂一些因为空调风口位置低、风速高、气流贴附性强VLM对贴附层流的识别效果比对自由射流差。实测中需要增加一个很低角度的侧面机位贴着墙根去拍摄贴附层流干扰丝线的状态。但对空调不同摆风模式的对比VLM的输出还是能清晰区分出集中吹扩散吹扫风三种模式Unity可视化之后比任何图文描述都直观。新风系统的场景更有意思。出风口和回风口的气流是一进一出用烟雾很难示踪改用轻飘的气球碎片或者肥皂泡效果更好。VLM对气泡的运动轨迹识别很准因为大尺寸示踪物在画面里对比度极高。5.2 智慧园区和数字孪生场景如果你在做一个数字孪生项目把VLM输出的参数直接推给Unity里的虚拟通风设备就能实现真实物理空间的风速变化实时反映在虚拟孪生体上。我给一个模拟园区做过类似的通风井气流联动展示车间里的排风扇实际转速变化摄像头画面经VLM分析后在Unity孪生场景中实时改变粒子颜色——低转速显示蓝色慢速流线高转速变成红色快速流带。这个效果在汇报演示里非常讨喜。5.3 移动端轻量化是下一步现在这套方案最重的环节其实不是Unity渲染而是VLM推理。调用云端API每帧要1到3秒延迟做不到真正的实时。我自己在测本地方案用了Qwen2-VL的量化版跑在本地GPU上推理速度大概能到每秒0.5帧再配合插值基本能达到准实时的观感。等本地VLM推理性能再上一个台阶整套系统完全可以做成一个手机App摄像头对着风扇屏幕上直接叠一层AR气流粒子。那时再搭配Pico4这类设备做沉浸式观察整个体验会更完整。在做这些扩展时我一直提醒自己一件事VLM给的始终是视觉特征的量化映射不是精密测得的物理场。它的价值是让人花十几分钟就能获得一个大致准确、直观可见、可对比的气流模型而不是替代专业的CFD和PIV。把这个定位想清楚这套低成本方案就能在很多实际场景里物尽其用。