1. 从一场展会看车载感知的技术路线之争AutoSens Europe 2026 刚落幕睿创汽车电子的展台前一直没断过人。做 ADAS 这行的都知道AutoSens 跟普通车展不一样来的人基本都是 Tier1 的感知算法工程师、主机厂智驾部门的系统架构师还有一堆做传感器融合的博士。大家看展的目的很纯粹找能真正上车的方案不是看概念车。睿创这次带去的核心展品是红外热成像模组和 4D 成像毫米波雷达。这两个品类放在一起展出本身就传递了一个信号——他们在推一套“可见光红外毫米波”的多模态感知组合拳。为什么这件事值得单独拿出来聊因为过去几年 ADAS 的感知方案高度集中在摄像头和激光雷达上红外热成像一直被认为是“军工转民用”的边缘角色4D 毫米波雷达则是最近两年才真正被重视起来的新品类。睿创把这两条线同时推到台前说明车载感知的技术路线正在从“单一传感器堆性能”转向“多物理量融合保安全”。这篇文章不打算复述展台新闻稿。我想从一线做 ADAS 感知系统集成的角度拆解三个问题红外热成像在车载场景里到底解决什么摄像头解决不了的问题4D 成像毫米波雷达相比传统 3D 雷达的升级点在哪里、实际能带来多少性能提升以及如果你是一个正在做 ADAS 感知方案选型的团队这套多模态组合该怎么评估、怎么集成、有哪些坑要提前避开。适合有基础传感器认知的智驾从业者也适合刚入行想搞清楚技术路线差异的朋友。2. 红外热成像摄像头看不见的那部分才是它的主战场2.1 为什么可见光摄像头在夜间和恶劣天气下会“失明”先讲一个我亲身经历的场景。去年冬天在北方某测试场做 AEB 夜间行人测试可见光摄像头在无路灯的乡道上对穿深色衣服的行人识别距离只有 15 米左右。15 米是什么概念如果车速 60 km/h反应时间加上制动距离根本刹不住。这不是摄像头像素不够而是物理层面的限制——可见光成像依赖环境光照反射没有光或者对比度极低的时候CMOS 再强也没用。毫米波雷达能测到行人的距离和速度但它对静止行人的分类能力一直是个短板容易和路牌、井盖、护栏混淆。激光雷达在夜间表现好很多但遇到雨雾天气点云衰减严重而且成本摆在那里。这时候红外热成像的价值就出来了它不依赖可见光靠的是物体自身的热辐射。人体温度 37 度左右在环境温度零下几度或者十几度的夜间热对比度极其明显。摄像头看到的是“黑乎乎一片”红外看到的是“一个亮堂堂的人形热源”。睿创这次展出的红外模组核心参数我现场问了一下分辨率 640×512像元间距 12 微米NETD噪声等效温差做到 40mK 以内。这几个数字翻译一下640×512 的分辨率在车载红外里属于主流偏上水平足够在 100 米外分辨出成人行人的轮廓NETD 40mK 意味着它能感知到 0.04 摄氏度的温差这个灵敏度在夜间行人检测场景里非常关键——人体和背景的温差通常在 10 度以上40mK 的灵敏度相当于信噪比很高算法端做阈值分割会轻松很多。2.2 红外热成像在 ADAS 中的三个典型应用场景第一个场景是夜间无光环境下的行人、动物检测。这个不用多解释是红外最刚需的场景。欧洲 NCAP 从 2023 年开始把夜间行人 AEB 纳入评分体系国内 C-NCAP 也在跟进。红外模组能在完全无光条件下输出稳定的热成像图给融合算法提供一个独立于可见光的冗余通道。第二个场景是逆光、眩光条件下的目标检测。傍晚迎着夕阳开车或者对向车开远光灯的时候可见光摄像头会出现大面积过曝目标丢失。红外热成像不受可见光干扰逆光场景下反而因为背景温度低、目标热辐射突出成像效果更好。我在测试中对比过逆光条件下红外对前方车辆和行人的检测稳定性明显优于纯可见光方案。第三个场景是雾霾、烟尘环境。红外长波8-14 微米对雾霾的穿透能力比可见光强不少。虽然不如毫米波雷达但在能见度 50-100 米的浓雾场景下红外能提供比摄像头更远、更清晰的感知距离。这个特性在高速公路团雾路段特别有价值。2.3 红外模组上车要过的几道坎红外热成像听起来很美但真正上车量产有几个坑必须提前想清楚。第一个是标定和融合问题。红外图像和可见光图像的纹理特征差异极大传统的特征点匹配算法基本失效。你不能指望用 SIFT 或者 ORB 去匹配红外和可见光的图像。实际工程中通常采用联合标定板在离线阶段完成外参标定然后在线运行时依靠车辆运动估计和已知的安装位置关系做粗对齐。睿创的模组支持输出原始热成像数据和温度矩阵如果你的融合算法需要温度信息做辅助判断这个接口很关键。第二个是成本与量产一致性。红外探测器晶圆级封装良率、镜头材料锗镜头成本高现在很多方案在推硫系玻璃都会影响最终 BOM。睿创在展会上提到他们的晶圆级封装产线已经跑通这对成本控制是个利好。但作为系统集成方你还是要关注不同批次模组的 NETD 一致性和坏点率这些直接影响算法阈值设定的鲁棒性。第三个是算法适配。现成的可见光检测网络直接跑红外图像mAP 会掉得很厉害。你需要用红外数据集重新训练或者做域适应。公开的红外行人数据集规模远小于 COCO 或者 ImageNet实际项目中往往需要自己采集和标注。我的经验是至少准备 5 万张以上的夜间红外标注图覆盖不同季节、不同环境温度、不同行人着装才能训出一个泛化能力可用的检测模型。实操心得红外模组安装位置尽量靠近可见光摄像头减少视差。如果实在无法共位安装外参标定后一定要做在线验证跑一段颠簸路面看融合结果是否漂移。3. 4D 成像毫米波雷达从“测距测速”到“成像级感知”3.1 传统 3D 毫米波雷达的局限在哪里传统车载毫米波雷达输出的是距离、速度、方位角三个维度的信息没有高度维。这意味着它无法区分前方是立交桥还是广告牌无法判断路面上的井盖和静止车辆对低矮障碍物的检测能力很弱。更麻烦的是传统雷达的角度分辨率受限于天线孔径方位角分辨率通常在 10 度以上两个相邻车道的车辆在雷达眼里可能就是一个大目标。这导致了一个经典问题毫米波雷达对静止目标的过滤策略。因为无法有效区分静止车辆和路边的金属护栏、井盖很多量产方案干脆把静止目标全部过滤掉只保留运动目标。但这就带来了另一个安全隐患——前方静止的故障车、事故车雷达不报警只能靠摄像头兜底。而摄像头在夜间和恶劣天气下又可能失效这就形成了一个感知盲区。3.2 4D 成像雷达的升级逻辑多了一维多了很多可能4D 成像毫米波雷达在传统 3D 的基础上增加了高度维信息同时通过多输入多输出MIMO天线阵列大幅提升了角度分辨率。睿创展出的 4D 雷达方案官方给出的方位角分辨率在 1 度以内俯仰角分辨率在 2 度左右。这个分辨率意味着什么它可以在 200 米外区分出两个相邻车道的车辆可以识别出立交桥的高度轮廓可以判断前方是地面目标还是空中标志牌。从技术实现上看4D 成像雷达的核心升级点有三个。一是天线通道数大幅增加从传统的 6 发 8 收升级到 12 发 16 收甚至更多虚拟通道数达到 192 个以上这是角度分辨率提升的物理基础。二是波形设计更复杂采用多帧调制或者正交频分复用提升速度分辨率和抗干扰能力。三是点云输出密度大幅提升单帧点云从几百个点提升到几千甚至上万个点已经接近低线束激光雷达的密度。3.3 4D 雷达在实际 ADAS 场景中的性能表现我在一个封闭测试场做过对比测试同一辆测试车分别装传统 3D 雷达和 4D 成像雷达跑相同的场景。第一个场景是静止车辆识别。传统雷达在 80 米外对静止车辆的检测时有时无虚警率很高。4D 雷达因为有点云高度信息可以过滤掉地面井盖和低矮路肩对静止车辆的车顶和车身轮廓有稳定检测100 米外就能稳定输出目标航迹。第二个场景是相邻车道车辆区分。传统雷达在 50 米外两个相邻车道的车辆会合并成一个目标。4D 雷达在 120 米外还能清晰区分两个车道上的车辆横向分辨率优势非常明显。第三个场景是隧道出口和立交桥场景。传统雷达经常把立交桥误判为前方障碍物触发幽灵刹车。4D 雷达通过高度维信息可以判断立交桥在车辆上方不会误触发。这个场景的改善对用户体验提升很大幽灵刹车是 ADAS 被投诉最多的问题之一。3.4 4D 雷达的工程化挑战4D 雷达的数据量比传统雷达大一个数量级对后端处理平台的算力要求更高。点云密度上去了聚类、跟踪、分类的算法复杂度也上去了。如果你的域控制器算力冗余不足可能需要考虑把部分雷达点云处理下放到雷达模组内部完成只输出目标级信息给融合层。另一个挑战是天线罩和安装角度。4D 雷达对天线罩的透波一致性要求更高保险杠的油漆厚度、雷达安装的俯仰角偏差都会影响俯仰维的测量精度。量产标定环节需要增加俯仰角的校准流程这个在传统 3D 雷达时代往往被忽略。注意4D 雷达的俯仰角精度对安装高度敏感。安装位置越高对俯仰角的标定精度要求越高。建议在产线标定环节加入俯仰角自动校准工位用已知高度的角反射器做参考。4. 多模态融合把红外和 4D 雷达放在一起怎么用4.1 融合架构的选择前融合还是后融合红外和 4D 雷达的融合本质上是一个异构传感器融合问题。两者的数据形式差异极大红外输出的是 2D 图像4D 雷达输出的是 3D 点云。前融合数据级融合在这个组合里不太现实因为图像像素和雷达点云之间没有直接的物理对应关系。实际工程中通常采用特征级融合或者后融合目标级融合。后融合的实现相对简单红外模组内部或者紧耦合的处理器先跑行人检测输出目标框和置信度4D 雷达输出目标航迹列表融合层做时空对齐和航迹关联。这种架构的好处是各传感器独立处理故障隔离性好一个传感器失效不影响另一个。缺点是信息损失较多红外图像里的纹理信息、雷达点云里的轮廓信息在目标级融合时都被压缩掉了。特征级融合更复杂但潜力更大。可以把红外图像的特征图和雷达点云的特征图投影到同一个鸟瞰图BEV空间用注意力机制做跨模态特征交互。这种方案在学术界已经有不少论文但量产落地还不多主要受限于算力和数据标注成本。4.2 时空对齐融合的第一道门槛不管选哪种融合架构时空对齐都是绕不过去的。时间对齐方面红外模组的帧率通常是 30Hz 或者 60Hz4D 雷达的帧率在 20Hz 左右两者不同步。融合层需要做时间戳对齐和运动补偿。我的经验是用车辆 CAN 总线上的车速和横摆角速度做运动补偿把不同时刻的传感器数据统一到同一个时间基准上。空间对齐方面红外和雷达的外参标定需要联合进行。建议用同一个标定场地同时放置红外标定板和雷达角反射器一次性完成两个传感器的外参标定。标定完成后用一段实际道路数据做验证检查融合后的目标位置是否一致。4.3 融合策略什么场景下听谁的多模态融合的核心不是简单投票而是根据场景动态调整各传感器的权重。我总结了一个简单的策略表在实际项目中比较实用场景条件红外权重4D 雷达权重可见光权重说明夜间无光、无雾高中低红外行人检测优势明显夜间有雾中高低雷达穿透雾能力强白天逆光高中低红外不受眩光影响白天正常光照中中高可见光纹理信息最丰富雨雪天气中高低雷达受雨雪影响最小隧道出入口高中低红外适应光照突变这个权重表不是固定的需要根据实际测试数据做调整。但核心逻辑是谁的物理特性在当前场景下最可靠就给谁更高的置信度权重。4.4 数据标注与训练多模态融合的隐形成本多模态融合系统的开发成本很大一部分不在硬件和算法而在数据。你需要同步采集红外、可见光、雷达点云三种数据并且做时间戳对齐。标注的时候红外图像和可见光图像需要分别标注然后做目标关联。这个工作量是单传感器方案的三倍以上。我的建议是前期先用后融合方案快速跑通闭环用少量数据验证融合逻辑的可行性。等系统基本稳定了再考虑上特征级融合用更大规模的数据做端到端训练。不要一上来就追求最先进的融合架构工程落地讲究的是迭代节奏。5. 常见问题与排查技巧实录5.1 红外模组相关的高频问题问题一红外图像出现固定图案噪声或者坏点。这是红外探测器的典型问题通常是因为探测器工作温度不稳定或者非均匀性校正NUC没有及时更新。排查步骤先检查模组散热是否正常红外探测器对温度敏感工作温度波动超过 5 度就可能出现明显噪声。然后检查 NUC 挡板是否正常工作挡板电机卡滞会导致校正失败。如果是个别坏点可以在算法端做坏点补偿但坏点数量超过千分之三就要考虑更换模组了。问题二红外行人检测在夏季白天效果差。这是物理限制夏季环境温度接近人体温度热对比度下降红外图像里人和背景的温差可能只有几度。这时候不能单纯依赖红外需要可见光和雷达补位。算法端可以引入温度矩阵信息做自适应阈值调整但根本解决还是要靠多模态融合。问题三红外和可见光融合结果出现重影。通常是外参标定漂移或者时间同步没做好。先检查标定参数是否在有效期内然后检查两个传感器的时间戳是否来自同一个时钟源。如果车辆经过剧烈颠簸后出现重影可能是模组安装支架发生了形变需要重新标定。5.2 4D 雷达相关的高频问题问题一点云密度不稳定时高时低。检查雷达的波形配置是否在不同帧之间切换。有些 4D 雷达为了兼顾探测距离和点云密度会在不同帧使用不同的波形参数导致点云密度波动。如果波动过大影响后端处理可以固定波形配置牺牲一点探测距离换取稳定性。问题二俯仰角测量偏差大。首先检查安装角度用水平仪确认雷达安装面与车辆坐标系的关系。然后检查天线罩天线罩的材质和厚度不均匀会引入俯仰角偏差。最后检查标定流程俯仰角标定需要用不同高度的角反射器只用一个高度的反射器标定出来的俯仰角可能不准。问题三相邻车道目标关联错误。这是角度分辨率不够或者聚类参数设置不当。先确认雷达的方位角分辨率是否满足场景需求如果分辨率够但还是关联错误检查聚类算法的距离阈值和角度阈值。相邻车道车辆在雷达点云里可能是两团点如果聚类阈值设得太大会被合并成一个目标。5.3 多模态融合系统的高频问题问题一融合后目标航迹抖动。通常是各传感器的目标更新频率不一致导致的。红外 30Hz雷达 20Hz融合层如果简单做加权平均航迹会抖动。解决方案是用卡尔曼滤波做航迹平滑各传感器的观测值按照各自的时间戳和噪声协方差输入滤波器。问题二某个传感器失效后融合系统崩溃。这是融合架构的鲁棒性问题。后融合架构天然支持传感器降级但需要在融合层做故障检测和隔离。建议给每个传感器通道设置独立的健康度评分健康度低于阈值时自动降低权重或者剔除。前融合架构的故障隔离更复杂需要在特征层面做异常检测。问题三融合系统算力占用过高。红外图像处理和 4D 雷达点云处理都是算力大户。如果域控制器算力紧张可以考虑把红外行人检测下放到红外模组内部的低功耗处理器上只输出目标框给融合层。4D 雷达的点云聚类也可以在雷达模组内部完成输出目标级信息。这样融合层只需要处理目标级数据算力需求大幅下降。5.4 常见问题速查表问题现象可能原因排查步骤解决方向红外图像噪声大探测器温度不稳检查散热和NUC改善散热增加NUC频率红外行人漏检环境温度接近体温查看温度矩阵多模态融合补位红外可见光重影标定漂移或时间不同步检查标定和时间戳重新标定统一时钟4D雷达点云稀疏波形配置切换检查雷达配置固定波形或调整参数4D雷达俯仰偏差安装角度或天线罩问题水平仪检查更换天线罩重新标定俯仰角融合航迹抖动传感器频率不一致检查各传感器帧率卡尔曼滤波平滑融合系统算力高原始数据上融合层查看算力占用分布下放处理到传感器端6. 从选型到量产一套可参考的评估流程如果你正在评估是否要在 ADAS 方案里引入红外热成像和 4D 成像雷达我建议按这个流程走一遍。第一步明确场景需求。你的目标市场是哪里欧洲 NCAP 夜间行人测试是必选项吗如果是红外热成像基本是刚需。你的 ADAS 功能里有没有对静止车辆和低矮障碍物的检测要求如果有4D 雷达比传统雷达优势明显。第二步做传感器选型对比。红外模组重点看分辨率、NETD、帧率、接口类型GMSL 还是以太网、工作温度范围。4D 雷达重点看通道数、角度分辨率、点云密度、最远探测距离、数据接口。睿创的模组在参数上属于主流水平但选型不能只看参数还要看量产一致性和供货能力。第三步搭建测试平台做场景验证。至少覆盖夜间行人、逆光、雾天、静止车辆、相邻车道区分这几个核心场景。每个场景采集足够的数据做定量对比。不要凭感觉判断要用数据说话。第四步评估融合算法开发成本。如果你团队没有多模态融合的经验建议先从后融合入手用成熟的目标级融合框架快速搭建原型。等原型跑通了再考虑优化融合架构。第五步算总账。红外模组、4D 雷达、额外的算力平台、数据标注成本、标定工位改造这些加起来是一笔不小的投入。但如果你的目标市场对夜间安全有强制要求这笔投入是绕不过去的。早做比晚做好等法规落地了再追时间窗口就很紧张了。我在实际项目中的体会是红外和 4D 雷达的组合不是简单的 11它们在场景覆盖上是互补的。红外补的是夜间和逆光下的行人检测4D 雷达补的是静止目标和高度维的区分能力。两者叠加再加上可见光摄像头基本能覆盖 ADAS 主要的安全场景。当然这套方案的成本和复杂度也比单传感器方案高不少适合对安全等级要求高的项目。如果只是做基础的 L2 功能传统方案可能更经济。选型没有绝对的对错关键看你的场景需求和成本约束。