去年我在给一台方案车做传感器融合调试时组里争论最多的一个话题就是激光雷达到底还要不要留。那台车上装了1颗128线激光雷达、5颗毫米波雷达、6颗摄像头标定和融合的工时能占整个项目的一半以上。结果过了一个季度再看行业趋势风向已经全变了小鹏直接把激光雷达从主销车型上拿下推出了AI鹰眼纯视觉方案核心卖点里写着一行字“LOFIC技术加持下摄像头足够替代激光雷达”。这不是简单的配置调整而是整个传感器架构的逻辑变了。先给不熟悉这套打法的人补个背景。前几年的智驾方案基本都长一个样视觉负责识别车道线和交通标识激光雷达负责给障碍物点云和深度毫米波雷达负责测速和补盲超声负责近距泊车。硬件越多标定越麻烦出故障的概率也越高。小鹏上一代方案就是这种“全家桶”12个摄像头、多个雷达加两颗激光雷达算力硬件与传感器成本都拉得很满。但到了AI鹰眼这一代最核心的变化是激光雷达被彻底拿掉超声数量也做了精简感知的主力全部落到摄像头身上并且通过LOFIC传感器去解决传统视觉最头痛的动态范围和强光抑制问题。这里需要先理清一个关键问题为什么过去不敢拿掉激光雷达而今天可以因为激光雷达的价值本质上是提供“可靠的深度信息”和“不受光照影响的物体几何轮廓”。在此之前摄像头在这两件事上都打不过激光雷达——白天逆光、夜晚大灯照射、隧道出入口这种忽明忽暗的场景普通车载摄像头很容易过曝或欠曝目标一丢后面跟着的感知算法再牛也无济于事。所以想要用纯视觉方案第一条硬门槛不是算法而是图像传感器要先“看得清”。LOFIC技术解决的恰恰就是这件事。AI鹰眼方案的实际意义不只是省掉一颗激光雷达的成本。从系统工程的角度看它改变的是整车的传感器拓扑、数据采集格式、算法输入分布甚至包括工厂产线上的标定工序。激光雷达一旦不在配置单上供应链复杂度降一档装配一致性问题少一类驾驶时的供电、散热、振动可靠性问题也跟着减少。这本质上是把智能驾驶的感知链路从“跨传感器融合”拉回到“图像深度估计BEV网络”的纯视觉架构上整个技术栈随之变得更可控、更便宜也更适合大规模量产。有人会问这会不会是厂商为了降本而牺牲性能我倒觉得这更像是一次“算力过剩”带来的能力迁移。过去视觉算法弱是因为芯片不够强点云和图像可以在传统算法框架下直接融合勉强够用。现在大算力平台纷纷上车端到端网络和大模型普及算力洼地已经被填平反而传感器的“物理感知上限”成了瓶颈。于是大家回头发现只要把摄像头本身的成像极限突破纯视觉路线其实是比激光雷达更优雅的方案。这就是小鹏AI鹰眼方案选型背后的基本盘。1. 这个方案解决的是什么问题智能驾驶传感器方案的“做减法”之战1.1 核心需求拆解不只要“看得见”还要“看得懂”如果只看表面AI鹰眼方案解决的问题好像是“用摄像头替代激光雷达”。但落进工程里真正的需求列表要细得多。我从实际项目里总结下来至少包含这么几条第一提升成像动态范围让摄像头在强光、逆光、夜晚等极端场景下都能保留有效信息。普通车载CMOS的动态范围一般做到100dB以下遇到大灯直射或隧道口这种场景要么高光一片白要么暗部一团黑算法根本没法工作。LOFIC传感器把单帧动态范围往上推了一截相当于把相机从“人眼眯起看强光”变成了“戴着墨镜看强光”信息量完全不一样。第二降低运动伪影和果冻效应。传统HDR靠多帧合成扩展动态范围但车在高速运动时多帧之间场景变化剧烈合成结果容易出现鬼影、拖尾。纯视觉方案如果在这种伪影上翻车那还不如不用HDR。所以必须选单帧HDR能力足够强的传感器这就是LOFIC这类“单次曝光宽动态”方案受捧的原因。第三感知算法必须从“多传感器联合标定”迁移到“纯视觉深度估计”。去掉了激光雷达BEV网络里少了一路高精度的真值点云输入深度信息要靠单目或双目几何恢复。这意味着训练数据里必须加入足够多的立体视觉样本算法也要能利用时间序列去预测目标轨迹这跟过去“拿雷达点云直接做目标级融合”的套路完全不同。第四系统冗余设计要重做。过去出了Camera故障还有激光雷达兜底现在纯视觉方案等于把所有鸡蛋放在视觉这一篮子。车规级功能安全设计要做成什么样传感器脏污检测、失焦检测、电子防眩目机制如何联动都是需要重新定义的东西。别看外面宣传语说得轻巧真正落到工程上以上四条每一条都是一大块硬骨头。这也是为什么LOFIC技术在这个方案里不是锦上添花而是整个纯视觉路线的地基。1.2 为什么是LOFIC技术而不是老一套HDR在LOFIC被反复提及之前行业里解决车载高动态成像的主流方案是DOL HDR或类似的多帧合成技术。原理并不复杂连续拍两帧一帧短曝光保住高光一帧长曝光提亮暗部然后在ISP里把两帧拼成一幅高动态图像。听起来很合理但车一动起来就有问题——高速跟车的时候前车刹车灯亮起多帧合成常常把刹车灯搞成一团模糊的光晕夜间经过路灯时亮区和暗区边缘会出现虚影。智能驾驶算法在这种图像上做目标检测错检漏检的概率会显著升高。LOFIC的路线不太一样。它是在CMOS像素内部做了一个“横向溢出积分电容”。正常光照条件下光电子在像素内积累超过容量的部分会溢出到预设的电容里暂存而不是直接饱和丢失。这样一个单帧曝光就能同时记录亮部和暗部的信息不需要在时间轴上连续拍多帧再合成。用比较通俗的说法老HDR是“连拍两张拼一张”LOFIC是“一张底片里自带宽容度”。效果上最直观的区别在于图像里不会出现因为场景快速变化而产生的拖影断层。当然LOFIC也不是天下无敌。它的代价是像素结构更复杂单个像素面积控制难度更大对工艺和成本的要求都更高。但从整车方案的角度看多花在传感器上的钱跟省掉一颗激光雷达的花费比起来实在不算什么。这也是小鹏敢于在量产车上选它的核心原因——用更小的成本代价换一条更简洁、可以扩展的系统架构。2. LOFIC技术的底层原理像素里多了一个“蓄水池”前面说了LOFIC是“横向溢出积分电容”很多朋友估计还是觉得抽象。我尽量用画图的方式在脑子里还原一下它的工作过程。普通的CMOS有源像素每个像素主要由光电二极管、传输管、浮动扩散节点和源极跟随器组成。光打在二极管上产生电子电子聚集到FD节点再由源极跟随器转成电压信号。问题在于FD节点容量有限强光下电子瞬间塞满多余的电子就流失了这时候不管你怎么调整增益高光区域都已经“爆”了。LOFIC技术的关键改进是在FD节点旁边横着多接一个电容这个电容的学名叫“横向溢出积分电容”。它的作用就像一个蓄水池FD节点这个“小池子”满了水电子不会白白流走而是顺着设计好的沟道溢进旁边的“大池子”里暂存。等读出的时候系统把两个池子的电荷一起读取、一起计算相当于把像素的“电荷容量”瞬间扩大了好几倍。因为容量大了同一个像素能够覆盖的亮度范围就宽得多高光不过曝暗部也能保留动态范围自然就上去了。这个设计与传统的DOL HDR相比最大的优势在于“单帧”这两个字。单帧意味着在一段时间里只做一次曝光场景怎么动都不会产生时间错位。而多帧HDR的瓶颈恰恰在于时间错位相机动、目标动、光源动三次曝光捕捉到的画面并不来自同一时刻合成时就会产生鬼影。LOFIC方案不存在这个问题传感器拿到的是同一个瞬间进光量的完整信息后续不管做目标检测还是BEV融合图像的时间一致性都更好。从规格参数上看车规级LOFIC传感器的动态范围通常可以做到120dB以上周围环境从一百多到十万lux的变化都能被同一个像素几近无损地记录下来。举两个实际场景一个是夜晚对向来车开着远光灯传统传感器会看到一圈巨大的光晕目标车头部分完全看不见LOFIC方案里光晕被压缩到很小的区域车头边缘轮廓依然清晰可辨。另一个是隧道出入口一进一出光线变化能达到好几个数量级普通传感器的自动曝光算法来回切换画面会闪好几帧LOFIC传感器可以让这个切换过程平滑很多算法不会出现阶段性盲视。我更想强调的是LOFIC并不只是为了晚上看得清。智能驾驶对图像动态范围的需求本质上是对“信息不丢帧”的需求。白天在树荫和阳光交错的道路上阴影里的行人、强光下的红绿灯、隔着玻璃闪着反光的侧面来车这些目标在传统图像里经常被压扁成黑块或白块。LOFIC让这些目标细节保留下来算法才谈得上识别。这类场景单独拿出来看不像夜间大灯那么惊心动魄但它在每天的通勤路况里广泛存在是纯视觉系统保持全天候稳定性的基础。2.1 动态范围背后的物理与工程权衡这里稍微展开一点聊一聊动态范围的物理含义和工程权衡方便大家以后看参数表的时候不踩坑。动态范围的本质是同一个像素能够同时容纳“最亮信号”和“最暗信号”的能力一般用dB表示计算公式是20乘以log10(最大不饱和光强除以最小可检测光强)。也就是说动态范围越高一个画面里亮到极致和暗到极致的地方都能记录下细节。传统的DOL HDR把动态范围做大主要靠多帧。但多帧带来三个问题运动伪影、噪声增加、数据量翻倍。LOFIC把动态范围做大的方式是在单像素里增加电荷存储能力相当于直接提高“最大不饱和光强”的上限而不是靠叠加多帧来平均。这样动态范围提升是实打实的不伴随时间上的妥协。但工程上也有代价。像素里加电容意味着像素面积和版图复杂度都上去了一片传感器上能排的像素总数可能要打点折扣或者需要更先进的工艺来弥补。对于智驾场景来说这个权衡是可以接受的因为摄像头数量够多空间分辨率下降一点可以通过重叠视场补回来而动态范围这个短板如果不能突破纯视觉方案连门都进不了。2.2 与ISOCELL等技术的协同定位这几年CMOS传感器圈子里大家经常听到的还有ISOCELL、RGBW四合一、近红外增强之类的名词。ISOCELL通过在像素之间加物理隔离墙减少串扰四合一像素则是在不损失灵敏度的情况下提升感光速度。LOFIC跟这些技术并不是竞争关系而是可以叠加的改进维度。一套完整的车规级传感器往往是LOFIC电容加上像素隔离墙、背照式结构、以及专门为车载场景调优的暗电流截止技术一起工作。这里多说一句车载传感器的选型细节。车规级设备跟手机传感器的要求区别非常大工作温度范围要覆盖-40到105摄氏度可靠性标准要满足AEC-Q100规范使用寿命要达到十年以上还要应对太阳直射、大灯照射、抖动、水雾等环境。手机上吹上天的像素数在车载面前没有那么重要。真正重要的反而是动态范围、暗电流、串扰、快门效率和车规认证这几项用不用LOFIC来作为筛选标准其实只是评估的第一步。如果你手头也在做视觉感知的硬件选型建议把传感器数据手册里“Full Well Capacity”和“Dynamic Range”两栏先拉到Excel表对比再看像素工艺和封装顺序不要搞反。3. 从激光雷达到纯视觉的架构演进3.1 去掉激光雷达之后坐标系和标定流程发生了哪些变化以前的方案里激光雷达的存在让系统有了一个高精度的三维度量基准。每个点云都自带准确的xyz坐标摄像头标定只需要做好“把2D图像投影到3D点云上”这个过程障碍物的距离、尺寸、朝向就都有了。这也是业界常说“激光雷达给予系统几何先验”的原因。问题在于点云和图像的数据形式完全不同要做空间对齐和时间同步需要外参标定、内参标定、时间戳对齐等一系列工作稍微一个环节没做好融合结果就崩。纯视觉方案里这些“外部几何先验”没了深度完全依赖网络自己去推断。车载摄像头还是2D传感器单帧图像里没有直接的距离信息。怎么办办法是按BEV网络框架利用多个摄像头之间的视角重叠关系、时间序列中的目标尺度变化以及车型尺寸的先验知识让网络学到“从这个角度看过去目标大概多远”的能力。这套技术路线在过去几年已经被验证过现在国内厂家跟进并不是拍脑袋。对小鹏来说AI鹰眼方案的BEV网络输出是一个统一的三维空间表征摄像头图像输入后直接变成车周围360度的鸟瞰视角特征后端的规划控制模块直接在这套表征上工作。这意味着整个系统不再关心“这个障碍物是摄像头看到的还是雷达看到的”只关心“这个位置到底有没有东西、多快在移动、朝向哪里”。这种把多源异构问题变成单一图像问题的方式大量简化了系统集成排障时也只需要查一路数据就够了。3.2 传感器分工怎么重新划分很多朋友看到“纯视觉”三个字会产生一个疑问是不是车上所有传感器都变成摄像头了其实不是。小鹏AI鹰眼方案虽然主打纯视觉感知但在近距离泊车、低速避障环节超声波传感器依然是标配。激光雷达可以去掉是因为它的功能可以被摄像头加算法替代但超声波雷达这种成本极低的近距检测传感器替代它不仅没有多少收益反而会引入更多不确定性。所以在新的传感器架构里分工逻辑非常清楚摄像头负责中远距离和360度环视的主要感知超声波负责近距盲区和泊车辅助惯导和轮速计负责提供运动学约束GNSS负责全局定位。整个方案的传感器类型减少了但“分层冗余”的概念并没有废弃只不过冗余方式从“不同物理原理传感器同时感知同一目标”变成了“不同距离范围、不同工况下各自负责自己的核心场景”。这种重组对整个域控制器的影响也很直接。去掉激光雷达后点云数据处理、雷达目标跟踪、跨传感器时间同步等模块都可以从代码库里删除相关的驱动和诊断逻辑一并简化。留在域控里的主要计算负载变成了多路摄像头的ISP处理和神经网络前向推理。大算力芯片的利用率反而变得更高说明白点就是在同样的算力平台上纯视觉方案的“软件天花板”要比“雷达视觉”方案高不少。3.3 数据闭环与训练语料的改变可能有人会说纯视觉听起来就是把激光雷达拿掉算法上换套网络。但实际上训练数据通路的变化比想象中大得多。以前有激光雷达的时候真值标注可以直接从点云聚类结果里自动生成障碍物的框和距离都有非常“干净”的来源。没了激光雷达训练数据的真值怎么来总不能全靠人工去图像里拉框吧。现在常见的做法是“激光雷达迁移标注”加“多视角几何重建”。开发阶段先用装激光雷达的采集车跑大量高质量数据把点云真值自动落进图像里生成第一批大规模带标签数据集然后部署阶段获取到的参数泛化到量产纯视觉车型上量产车自身采集的数据再通过人工抽检和自动清洗持续回流到模型训练。这样一来激光雷达并没有完全退出研发链条它只是从车上拆下来变成了研发阶段的“离线真值传感器”。用业内的话说激光雷达从传感器变成了数据标注工具这才是真正的高级玩法。小鹏这套AI鹰眼方案的另一个关键是影子模式。量产车在无激光雷达状态下运行但系统会记录驾驶员接管、急刹车等异常事件对应的周围影像数据被传回云端。云端再用离线模型对这批数据进行自动标注生成新的训练样本。数据闭环跑起来之后纯视觉方案的新场景发现和模型更新速度会明显快于传统方案——不需要等某个地区出了事故再回看数据而是系统自己就能筛选“自己觉得自己不行”的时刻主动采集主动学习。4. 实操视角搭载LOFIC摄像头的系统调试与常见问题上面聊得偏战略和原理下面我把视角切到工程调试分享一些在台架和实车上调LOFIC摄像头纯视觉系统时踩过的坑和经验。如果你是做感知或嵌入式开发的这部分应该用得上。4.1 摄像头标定不再有激光雷达坐标真值的日子纯视觉系统里摄像头外参标定的重要度被提升到了一个极其夸张的高度。因为所有目标的距离和位置都是从BEV网络推出来的而BEV网络的质量严重依赖摄像头外参和多摄重叠视场的对齐。以前激光雷达存在时就算摄像头外参偏了一点点云还能把目标位置“校正”回来现在这条路没了外参误差会直接反映到目标位置偏移上。实际标定流程我建议分三层第一层是产线标定用标定间里的特征板和激光投影仪把每个摄像头的外参标到毫米级精度第二层是售后标定通过OTA下载标定参数或让车主在特定场景绕车行驶利用车道线等自然特征做增量优化第三层是运行时自标定车辆正常行驶时网络会根据车道线、路沿等稳定特征持续监测外参漂移一旦发现偏移超阈值就报警。这三层下来才能保证出行一年后外参不会因为颠簸老化明显偏离。时间同步也要重新排。以前多传感器融合时一个激光雷达的时间戳可以当作系统主时钟其余传感器向它对齐。现在没有雷达摄像头之间以及摄像头与IMU之间的时间同步就要做得更精细差分要在1ms以内否则高速场景下目标位置会带着几米级误差。工程上一般用PTP或硬件触发信号同步多路摄像头曝光时刻不能靠软件事后打时间戳糊弄。4.2 ISP调试与图像质量的那点事LOFIC传感器把动态范围做上来了但如果ISP那头没有配套调好图像依然没法直接用。以我实际调过的车规级传感器为例ISP管线里影响最大的三个参数是局部色调映射强度、降噪强度、锐化增益。局部色调映射调得太激进暗部会容易过曝生成人工感很强的图像降噪太猛夜间图像会丢失细小纹理特征人形目标在远处直接变成一团色块锐化增益太高会产生振铃效应目标边缘出现不自然的白色光环算法在边缘检测上容易产生虚假的响应。常规的做法是分场景调参白天、黄昏、夜晚、隧道、雨天各出一套参数再用自动曝光和自动白平衡在场景间平滑切换。加入LOFIC传感器之后白平衡的修正范围也发生了变化因为高光区域不再像过去那样大面积溢出ISP能拿到更真实的色温信息。一个比较容易被忽略的细节是LOFIC传感器因为动态范围大低照度下的噪声轮廓跟普通传感器不一样如果用传统的降噪参数容易出现暗部色斑。需要重新采集噪声模型把3D降噪和2D降噪的比例重新标定。4.3 目标检测与深度估计特有故障排查纯视觉系统跑在路上最常见的失效模式是三个夜间远距离目标误检、逆光红绿灯漏检、强光下的“光晕吞噬”。排查这类问题我的建议是先不要急着调整网络第一步把采集到的原始图像导出来一帧一帧看。如果原图里目标本身已经不可辨那问题在传感器端或ISP端如果原图里目标清晰但网络输出丢了那问题在模型训练侧。夜间远距离误检经常是因为暗部噪点太多特征提取网络把噪点纹理误认成车辆尾部边缘。此时优先调ISP降噪参数而不是加大模型正则。逆光红绿灯漏检多半是动态范围还没发挥到位检查是否开启了LOFIC的高动态模式以及曝光策略是否覆盖了天空高亮区域。光晕吞噬则要检查镜头镀膜和光阑设计属硬件问题比较多见软件只能通过限制局部高光增益来补救。我自己印象最深的一个case是某台测试车在隧道出口急加速时纯视觉系统把隧道外的白墙误判成了可通行路面导致车辆短暂犹豫。后来查图像发现隧道外高亮区域的色温和隧道内差异极大ISP的自动白平衡在瞬间来不及切换导致整幅画面偏蓝语义分割网络因此对“天空/墙面”产生了误判。解决方式是给ISP配一个“场景预判”功能利用前方摄像头提前一点看隧道出口的亮度变化提前调整白平衡参数而不是等画面变了再去适应。这类系统级调参经验只有在实车测试里一点点磨出来。5. 常见问题速查表与选型避坑清单5.1 高频问题定位速查为了方便大家在实际项目里对照我把常见的坑整理成一张表。这些内容来自团队调试记录和同行交流不一定覆盖所有情况但大概率能帮你少走几次弯路。现象可能原因排查方向夜间高速公路远目标丢失ISP降噪过强、动态范围未跑满检查LOFIC模式、降噪强度、目标尺寸强光下目标边缘出现光晕镜头镀膜问题、局部高光压缩过强检查镜头模组、调整高光映射BEV网络输出目标位置有横向偏移摄像头外参偏差、时间戳不同步重跑标定、检查PTP同步隧道口短暂感知失效白平衡切换滞后、曝光策略不当增加场景预判逻辑、调整曝光曲线雨天前视摄像头看不清疏水镀膜失效、雨滴干扰清洁或更换盖板、加雨量联动行人目标在阴影区漏检动态范围不足、暗部噪声高调ISP局部色调映射、确认LOFIC开启这套表里的前三条是我在实车上遇到过频率最高的最后两条则是行业通用难题不是换一个传感器就能完全解决的。核心思路是别把锅都甩给算法先从图像源头找问题往往一张原图就能定位到是传感器、ISP还是模型的原因。5.2 选型阶段的避坑实践选型避坑方面的建议是评估LOFIC摄像头模组时别只看传感器型号一定要把整套镜头、红外截止滤光片、盖板玻璃、镀膜拿到实车上测一遍。同一颗传感器配不同镜头模组HDR表现能差出好几档。而且在供应链上要预留两到三个备选方案同样是LOFIC不同厂商的饱和电容和读出噪声差异很大当年“一颗料定了终身”的情况在车载项目里特别危险。还有一点是散热。LOFIC传感器的像素结构更复杂工作温度稍高时暗电流会上升动态范围优势会被明显削弱。实车上摄像头一般都装在挡风玻璃或后视镜附近夏天暴晒后温度不低建议在机构设计里加遮阳板和散热片并在软件里加温度补偿参数。这些参数如果不提前准备等路试暴露问题再OTA周期会拖得很长。在选型环节我给团队定过一条很简单的工作纪律别急着信数据手册把传感器拿回来在林荫路、隧道、夜晚大灯对射这三个场景各拍一个小时拿原始RAW数据分析动态范围是否真的够用。LOFIC传感器在纸面参数上的优势只有放到真实光环境里才知道是真本事还是纸老虎。小鹏AI鹰眼方案选择这条路从工程逻辑上是成立的但它也把问题从“传感器够不够清楚”转移到了“数据够不够多、算法够不够聪明”。我自己的判断是视觉方案的长期天花板并不比激光雷达方案低只要能把数据闭环和场景验证做到位纯视觉确实可以成为主流。方向我很认同但真正的考验永远在路上。