工业3D相机为什么工业视觉正在从2D走向3D结构光高精度测量的”黄金标准”ToF速度与集成度的王者双目立体视觉仿生思路的性价比之选线激光三角测量在线检测的”老炮儿”核心参数对比选型与应用应用工业场景选型选型避坑技术前沿3D视觉正在往哪里走总结为什么工业视觉正在从2D走向3D2D相机在过去二十年里统治了工业视觉。但它有一个根本性的盲区深度信息缺失。当你的产线遇到以下场景时2D往往束手无策 - 反光/吸光材质不锈钢、黑塑料的缺陷检测 - 三维几何尺寸高度、体积、轮廓的在线测量 - 无序抓取bin picking中的空间位姿估计 - 多层堆叠物体的分层识别3D视觉的核心价值不在于”多了个维度”而在于用深度信息隔离前景与背景从根本上降低对传统打光的依赖。但这并不意味着3D万能——选错技术路线精度、速度、成本全线崩盘。工业现场最常用的四种3D成像技术技术路线核心原理代表厂商结构光Structured Light投射编码图案三角测量解算深度GOM, 惟景三维, 梅卡曼德, PhotoneoToFTime of Flight测量光脉冲往返时间ifm, Basler, Vzense, 图漾科技双目立体视觉Stereo Vision双相机视差计算ZED, Intel RealSense线激光三角测量Laser Triangulation线激光投影单/双目相机Keyence, LMI, 深视智能结构光高精度测量的”黄金标准”结构光技术就是使用提前设计好的具有特殊结构的图案比如离散光斑、条纹光、编码结构光等然后将图案投影到三维空间物体表面上使用另外一个相机观察在三维物理表面成像的畸变情况。如果结构光图案投影在该物体表面是一个平面那么观察到的成像中结构光的图案就和投影的图案类似没有变形只是根据距离远近产生一定的尺度变化。但是如果物体表面不是平面那么观察到的结构光图案就会因为物体表面不同的几何形状而产生不同的扭曲变形而且根据距离的不同而不同根据已知的结构光图案及观察到的变形就能根据算法计算被测物的三维形状及深度信息。基于结构光的三维成像实际上是三维参数的测量与重现主要是区别于纯粹的像双目立体视觉之类的被动三维测量技术因而被称为主动三维测量。因为他需要主动去投射结构光到被测物体上通过结构光的变形或者飞行时间等来确定被测物的尺寸参数因此才叫做主动三维测量。首先结构光的类型就分为很多种既然是结构光当然是将光结构化简单的结构化包括点结构光线结构光以及简单的面结构光等。复杂一点的结构化就上升到光学图案的编码了。结构光投射到待测物表面后被待测物的高度调制被调制的结构光经摄像系统采集传送至计算机内分析计算后可得出被测物的三维面形数据。其中调制方式可分为时间调制与空间调制两大类。时间调制方法中最常用的是飞行时间法,该方法记录了光脉冲在空间的飞行时间,通过飞行时间解算待测物的面形信息空间调制方法为结构光场的相位、光强等性质被待测物的高度调制后都会产生变化,根据读取这些性质的变化就可得出待测物的面形信息。下面以一种应用广泛的光栅投影技术条纹投影技术为例来阐述其具体原理。条纹投影技术实际上属于广义上的面结构光。其主要原理如下图所示, 即通过计算机编程产生正弦条纹将该正弦条纹通过投影设备投影至被测物利用CCD相机拍摄条纹受物体调制的弯曲程度解调该弯曲条纹得到相位再将相位转化为全场的高度。当然其中至关重要的一点就是系统的标定包括系统几何参数的标定和CCD相机以及投影设备的内部参数标定否则很可能产生误差或者误差耦合。因为系统外部参数不标定则不可能由相位计算出正确的高度信息。下面以个人自制的系统进行的实验过程来讲解其原理。第一步编程产生正弦条纹图因为后续要利用变形条纹图获取相位而获取相位的算法也有多种此处采用的是四步移相法具体原理去查文献不再累述。因此这里产生四幅相位差pi/2的条纹。然后将该四幅条纹分时投影到被测物面具上采集到如下四幅被调制条纹图同时要采集四幅参考面的条纹未被调制同样四幅。第二步相位恢复由采集到的四幅受调制条纹图计算出被调制相位这里得到的相位图是截断相位图因为四步移相算法得到的结果是由反正切函数计算所得因而被限制在[-pi,pi]之间也就是说每当其值超过该范围又会重新开始。得到的相位主值如下图所示解决上述问题需要消跳变即将截断相位恢复为连续相位。如下所示左边为受调制的连续相位右边是参考连续相位。第三步上述二者相减得到相位差该相位差则表征了被测物相对参考面的高度信息再代入相位与高度转化公式其中相应参数经过标定得到如下三维模型。参考结构光的概念原理投影仪向被测物投射特定编码图案格雷码、相移条纹、随机散斑相机捕获经表面调制后的变形图案通过三角测量计算每个像素的三维坐标。结构光3D成像技术主要由4大部分组成不可见光红外线IR发射模组用于发射经过特殊调制的不可见红外光至拍摄物体。不可见光红外线IR接收模组接收由被拍摄物体反射回来的不可见红外光通过计算获取被拍摄物体的空间信息。镜头模组采用普通镜头模组用于2D彩色图片拍摄。图像处理芯片将普通镜头模组拍摄的2D彩色图片和IR接收模组获取的3D信息集合经算法处理得当具备3D信息的彩色图片。关键特征精度最高近距离1.5m可达亚毫米短距离小视场的甚至达到微米级多帧深度需多帧合成静态物体多次拍摄即可输出点云算力友好解码算法成熟GPU/FPGA上运行稳定致命弱点强光干扰。投射图案易被环境光淹没户外或强环境光下性能断崖式下降工业典型应用精密电子装配、PCB焊点检测、小型工件三维测量。ToF速度与集成度的王者原理发射调制红外光脉冲测量光从发射到返回传感器的时间差直接换算为距离。分为dToF直接测量飞行时间和iToF间接测量相位差。关键特征全帧实时一次曝光输出整幅深度图帧率可达60fps以上无运动模糊动态物体无需担心帧间错位系统紧凑无机械扫描部件体积小、可靠性高短板明显分辨率低通常VGA级别精度中等毫米级多径干扰和反光表面易出错工业典型应用AGV导航避障、物流包裹体积测量、机器人大范围引导。双目立体视觉仿生思路的性价比之选原理模仿人眼两个相机从不同角度同时成像通过立体匹配算法计算视差进而得到深度。关键特征被动成像不依赖主动光源室内外均可工作硬件简单两个普通工业相机镜头即可搭建成本可控无激光器/投影仪硬件成本最低算法门槛高立体匹配计算量大对无纹理/重复纹理表面失效基线长度限制了小型化工业典型应用户外大型工件测量、低成本的机器人抓取、农业果蔬分级。线激光三角测量在线检测的”老炮儿”原理将线激光投射到物体表面相机从侧面以固定角度捕获激光线的变形轮廓通过三角几何关系重建截面轮廓。物体与传感器相对运动时逐行扫描生成完整3D模型。关键特征极高精度Z向分辨率可达μm级别是四种技术中精度天花板抗反光能力强激光波段窄配合滤光片可抑制环境光干扰实时性受限需要相对运动完成扫描单次只能获取一条截面线系统复杂需要编码器同步运动位置标定要求高工业典型应用轮胎/轨道路面轮廓扫描、焊缝质量检测、高精度在线尺寸测量。核心参数对比以下参数基于典型工业级产品工作距离500-1000mm场景参数维度结构光ToF双目视觉线激光深度精度Z向高±0.05~0.2mm中±1~5mm中高±0.5~2mm极高±0.01~0.1mmX/Y分辨率中-高1-3MP低VGA级高取决于相机高取决于相机帧率/速度中1-30fps高30-60fps低受算力限制受运动速度限制抗环境光弱需遮光中等强被动成像强窄带滤光抗反光/吸光差图案失真差多径干扰中等优激光可靠工作距离短-中2m中-远0.5-10m灵活取决于基线短-中1m典型系统成本高需投影模组中低两相机即可高激光器运动机构算力需求中等低高低标定复杂度中等低高高从上述的对比分析来看TOF方案具有响应速度快深度信息精度高识别距离范围大不易受环境光线干扰等优势。因此想要在移动端直接实现深度的测量最有竞争力的就是TOF方案了。核心结论要精度选线激光或结构光 - 要速度选ToF。要性价比选双目。没有完美的技术只有合适的场景选型与应用应用典型代表联想Phab 2手机。目前可以买到的具备直接深度测量的智能手机只有Google和联想合作的联想Phab 22016年11月推出是全球首款支持Google Project Tango技术的手机其深度相机采用TOF技术方案由PMD公司提供。华硕也宣布将在2017年会推出带深度相机的手机Zenfone AR号称是全球首款同时支持Google Project TangoAR和DaydreamVR的手机。iPhone8也将会使用深度相机果然收购PrimeSense公司是有目的的我们拭目以待。深度相机应用深度相机的应用范围非常广泛比如未来几年将会迅速商业化的手势识以及活体人脸识别、空间测距、三维重建、AR(增强现实)等领域。1、手势识别TOF深度相机可以将人脸、身体、手臂、手指从背景中分离并且这种分割置信度较高不受自然光变化的影响同时能够实时性处理所以这将在智能交互领域大有用武之地。预计最近几年会迅速进入消费级电子产品中。2、真实的AR游戏体验如下图是Phab 2的AR游戏展示。由于在二维图像中融合了实时的深度信息所以AR游戏的体验比较真实。比如虚拟出来的一只猫通过实时的空间深度感知它可以“感受”到空间的相对位置关系当它走到桌子边缘的时候会很自然地跳到地面上这在之前的AR游戏中是难以实现的。3、三维空间测量由于能够实时获得深度信息所以实现三维空间测量也是顺其自然的。比如在室内装修领域可以方便的将各种虚拟的家具以真实的尺寸摆放到现实环境中用户拿着手机就可以体验家居放在室内的360°真实效果这无疑将是一个令人激动的应用场景。4、三维扫描/重建可以用于三维物体和k建模和机器人视觉导航和定位。比如你看到一座非常喜欢的雕塑就可以利用手机上的彩色相机深度相机对它扫描一周结合相应的算法就可以生成该雕塑的三维模型数据利用三维打印机就可以方便的打印出一个三维的雕塑复制品出来。5、更广泛的其他应用融入了深度信息的三维影像可以用于活体人脸识别避免传统二维人脸识别的安全隐患可以更加方便进行人体三维测量从而推动虚拟在线试衣行业的发展等。工业场景选型按应用场景匹配技术路线应用场景推荐技术理由精密零件三维尺寸检测0.1mm精度线激光 / 结构光精度天花板可复现物流包裹体积测量实时、大视野ToF全帧高速无需运动机器人无序抓取bin picking结构光 / 双目需要物体完整位姿焊缝/轮胎轮廓在线检测线激光抗反光、高精度、配合运动户外大型结构件测量双目抗强光、被动成像AGV/AMR导航避障ToF实时、紧凑、大范围电子装配精度检测小工件结构光近距离高精度选型决策流程选型避坑坑1只看精度参数忽略实测精度厂家标称的精度往往是最佳条件下的单次测量精度。工业现场更该关注实测重复精度GRR——同一件工件在产线条件下连续测量10次标准差是多少结构光在温度变化±5°C时热胀冷缩可能导致标定板基座变形重复精度恶化0.02mm以上。坑2忽略被测物表面特性高反光金属不锈钢、铝材结构光和ToF易产生多径/饱和干扰吸光黑色材料结构光散斑被吸收ToF回波信号弱透明/半透明所有主动光技术都可能穿透或折射深度失真对策线激光配合窄带滤光片和角度优化是目前应对反光/吸光最稳的方案。坑3标定做得潦草精度全崩3D相机的精度50%取决于标定质量。尤其是双目和线激光双目基线、焦距、主点标定误差直接导致深度误差放大线激光光平面标定不准Z向偏差呈系统性偏移线激光系统的光平面标定建议用高精度标定板结合精密平移台做亚像素级标定而不是随便用一个标定板。坑4软件算法”隐形”成本ToF出厂即输出深度图算法成本最低结构光需要解码算法但SDK通常已封装双目立体匹配算法是核心瓶颈自研成本极高线激光轮廓提取运动拼接需要专用开发坑5不考虑多传感器融合单一3D技术往往有盲区。结构光RGB相机、线激光2D面阵、双目IMU等多传感器融合方案正在成为高端视觉系统的标配。技术前沿3D视觉正在往哪里走iToF → dToF 的精度跃迁iToF受限于调制频率精度瓶颈明显。基于SPAD阵列的dToF直接飞行时间正在突破单光子灵敏度 TDC时间数字转换器让ToF进入亚厘米级精度时代同时保持全帧高速。固态激光雷达Solid-state LiDAR进入工业MEMS微镜和OPA光学相控阵方案让传统机械旋转LiDAR的可靠性短板得到弥补。大视野、中远距离的3D测量场景固态LiDAR正在替代部分ToF和多目方案。AI3D从点云到语义深度学习正在接管3D数据处理PointNet/Point Transformer直接处理点云省去传统的滤波、分割、特征提取 pipeline。NeRF神经辐射场让稀疏视角重建成为可能未来可能改变3D扫描的工作方式。多模态融合成为标配未来的工业3D系统不会只有一个传感器。结构光提供高精度局部点云ToF提供大范围深度框架RGB提供纹理和语义——三层数据融合才是解决复杂工业场景的终极答案。总结选3D相机本质是在做一道约束优化题如果你的核心诉求是…优先考虑…亚毫米级精度线激光 结构光实时全帧输出ToF最低系统成本双目强环境光/户外双目 线激光反光/吸光材质线激光最小系统体积ToF 结构光无需额外运动机构结构光 / ToF / 双目3D相机的技术指标表上写的精度和你在产线上实际能稳定拿到的精度中间隔着一个完整的标定验证体系。别信参数信你现场重复测量100次的标准差。参考工业3D相机技术路线