简介面向制造业质检与机器视觉开发者提供一套基于三维点云的焊锡缺陷检测完整工程方案涵盖相机数据采集、焊锡外观检测、正/侧面体积计算、飞锡检测及可视化界面。系统通过消息队列传递npy点云文件地址由算法完成体积计算并支持npy转pcd格式便于三维重建与缺陷定位。资源共104个文件以Python源码38个py与编译产物37个pyc为主另含6个npy点云样例、C相机接口文件cpp/h/dll/so、配置json及可视化png压缩包约4.65MB结构清晰适合直接运行或二次开发。已有311人学习下载适合具备Python与点云处理基础的开发者可快速搭建焊锡检测原型学习数据采集到界面展示的完整链路或作为产线质检方案的技术参考。1. 从三维点云到焊锡缺陷判定一条检测链路该先立住哪些环节回流焊后的PCBA上桥连和虚焊是两类典型不良。2D AOI能靠灰度差抓出桥连但遇到虚焊这类“轮廓还在、高度不对”的缺陷经常漏判因为二维图像里焊点的平面形状并没有明显缺失。三维点云把每个点的X/Y/Z坐标连同激光反射强度记录下来虚焊的高度落差、多锡的隆起、锡珠的孤立分布才真正变成可计算的数。这个标题覆盖的不只是一个识别算法而是一条完整链路数据采集决定点云质量的上限检测模型决定缺陷能不能分到位可视化界面决定结果能不能在产线复用。下文按采集、预处理、建模、界面四段展开每段给出可以直接复制改用的代码和参数。2. 焊锡三维点云数据采集如何把锡面高度差变成可靠信号2.1 面结构光优先还是线激光优先按焊点密度和节拍选焊锡缺陷检测的点云采集有两个主流传感器路线面结构光和线激光轮廓仪。面结构光向被测面投影编码条纹一个快门周期内就能拿到整幅高度图对小视场、高密度焊点非常合适IC引脚、BGA、01005焊盘这类亚毫米特征都能稳住。它的软肋是锡面高反光镜面反射会让相位解算出现飞点和空洞需要调曝光、换多频外差甚至喷辅助涂层才能压下去。线激光轮廓仪用一条激光线扫描整个板面逐行重建三维形态对高反光焊点的容忍度明显更好适合流动线体或大尺寸板卡。代价是采集节拍慢扫描一块板需要数秒到十几秒而且平台运动误差会直接叠加到Z轴精度上。选型时先问自己两个问题缺陷判定需要多高的Z向分辨率产线节拍允许多少秒。采集方案Z轴重复性量级单板节拍反光处理难度典型适用场景面结构光0.005–0.02 mm秒级单帧成像高需多频外差或调曝光密脚IC、BGA、小焊盘线激光轮廓仪0.01–0.05 mm数秒至十秒级中对亮面更稳定通孔焊点、大焊盘、回流焊面我一般会建议把面结构光作为实验室研发的首选因为迭代快、点云密度高模型调起来顺手产线落地反而更多用线激光稳定性和抗环境光能力更强。这里不推荐在接触式探针上花时间焊点尺寸小且表面软接触测量既不现实也跟不上节拍。2.2 相机标定与点云坐标对齐的最小操作流点云采回来只是局部坐标判断缺陷时还需要知道每个焊点相对PCB基准点的位置。固定工位下常见做法是用标定板角点在相机坐标系和平台坐标系下的对应关系用SVD求解刚体变换。采集时让机械臂或XY平台走几个已知位姿把标定板角点在两个坐标系下的三维坐标记录下来核心代码只有十几行import numpy as np def fit_extrinsic(src_pts, dst_pts): # src_pts: 标定板角点在相机坐标系下的3D坐标, Nx3 # dst_pts: 同一角点在装配平台坐标系下的3D坐标, Nx3 src_mean np.mean(src_pts, axis0) dst_mean np.mean(dst_pts, axis0) # 去质心后构造协方差矩阵用SVD分解出旋转矩阵 H (src_pts - src_mean).T (dst_pts - dst_mean) U, _, Vt np.linalg.svd(H) R Vt.T U.T # 检查行列式保证结果是刚体变换而非镜像 if np.linalg.det(R) 0: Vt[-1, :] * -1 R Vt.T U.T t dst_mean - R src_mean return R, t # 使用时至少取9个不共面角点角点分布越散解算越稳 R, t fit_extrinsic(cam_corners, platform_corners)SVD解算的核心思路是寻找一个旋转矩阵R和平移向量t让两组对应点之间的均方误差最小。去质心这一步很关键它把平移项从旋转求解中解耦避免了大数值坐标影响旋转精度。代入实际数据后要检查残差对齐误差最好控制在单点间距的三分之一以内否则缺陷定位框会整体偏移后端的特征提取全部错位。这里有个高频坑只用4到5个角点拟合。焊点检测要求亚毫米级对齐角点数量少于9个时某一方向上的约束不足R会在这个方向上出现微小偏转反映到远处焊点上就是零点几毫米的位置漂移。另外每换一次相机或拆装一次镜头外参就要重新标定这不是一劳永逸的事。2.3 焊点稀疏时怎么补点多角度拼接与ICP配准锡面反光、器件遮挡、BGA底部不可见都会导致单次扫描的焊点区域点云稀疏。常见做法是用机械臂携带相机做多工位数据采集多角度扫描同一片板再用ICP做精配准。ICP的前提是有一个大致正确的初始位姿它只负责把残差收敛到局部最优初始值差太远就会拼出叠影所以初始变换建议直接取机械臂示教或者上一步标定的外参。import open3d as o3d import numpy as np source o3d.io.read_point_cloud(view_left.ply) target o3d.io.read_point_cloud(view_top.ply) # 先下采样提升配准速度同时去掉部分重复点的影响 source_down source.voxel_down_sample(0.05) target_down target.voxel_down_sample(0.05) source_down.estimate_normals(o3d.geometry.KDTreeSearchParamKNN(k20)) target_down.estimate_normals(o3d.geometry.KDTreeSearchParamKNN(k20)) # 初始变换来自机械臂示教单位矩阵表示两视角姿态近似重合 threshold 0.1 reg o3d.pipelines.registration.registration_icp( source_down, target_down, threshold, np.identity(4), o3d.pipelines.registration.TransformationEstimationPointToPoint(), o3d.pipelines.registration.ICPConvergenceCriteria(max_iteration200) ) source.transform(reg.transformation) combined source target o3d.io.write_point_cloud(board_fused.ply, combined)ICP里最关键的是threshold它决定哪些点对会被视为内点。设得太大会把不相关的近邻点也拉进约束配准结果被粘连的噪声带偏设得太小又会导致收敛缓慢甚至发散。我会先用点云平均点间距的1到2倍试跑一次看fitness和RMSE输出再逐步收紧。配准完成后建议把结果导到CloudCompare这种点云查看工具里做一次目视检查确认引脚边缘、焊盘边界没有双重轮廓。3. 点云预处理与特征量化检测模型的输入不能是原始大点云3.1 直通滤波、统计滤波和体素下采样三步走一块PCBA用0.01mm分辨率扫描原始点云动辄上千万点直接送进网络显存先爆掉而且大部分点属于基板和器件体对缺陷判定没有直接贡献。标准做法是先做三步预处理直通滤波裁剪出焊点区域统计滤波去掉飞溅的孤立噪点体素下采样把点密度压下来。import numpy as np import open3d as o3d pcd o3d.io.read_point_cloud(board_raw.ply) # 1. 直通滤波只保留焊点区域附近的空间范围 bbox o3d.geometry.AxisAlignedBoundingBox( min_boundnp.array([-5.0, -5.0, -2.0]), max_boundnp.array([5.0, 5.0, 3.0]) ) pcd_crop pcd.crop(bbox) # 2. 统计滤波每个点统计近邻距离分布去掉远离主体的离群点 pcd_clean, ind pcd_crop.remove_statistical_outlier( nb_neighbors20, std_ratio2.0 ) # 3. 体素下采样0.05mm网格内只保留一个代表点 pcd_down pcd_clean.voxel_down_sample(voxel_size0.05)直通滤波的包围盒尺寸要按焊盘的实际焊盘间距来设太小会把相邻焊点切掉太大则把无关背景放进后续流程。统计滤波的std_ratio是经验性参数2.0是保守值取脏板可以先降到1.5如果发现焊点边缘被削掉就调回2.5。体素下采样尺寸必须小于最小缺陷宽度的一半否则桥连这种极细小的缺陷会在网格化时被均匀掉典型设0.05mm到0.1mm。处理步骤关键参数参数失效时的表现直通滤波包围盒六边界焊点被切边或背景点过多统计滤波nb_neighbors20, std_ratio2.0边缘真实点被删除或噪点残留体素下采样voxel_size0.05 mm细小缺陷消失或点数过大显存不足3.2 用高度差和法向变化锁定可疑焊点预处理之后下一步是把“焊锡三维形态异常”变成可量化的指标。虚焊的典型表现是焊点高度明显低于正常焊盘桥连则是两个焊盘之间的过渡区域高度异常隆起。这两种缺陷只靠X/Y坐标看不出来必须把Z方向和局部法向的变化算出来。# 用RANSAC拟合基板平面把Z坐标转换为相对基板的高度差 plane_model, inliers pcd_down.segment_plane( distance_threshold0.1, ransac_n3, num_iterations1000 ) a, b, c, d plane_model points np.asarray(pcd_down.points) height (a * points[:, 0] b * points[:, 1] c * points[:, 2] d) / (a**2 b**2 c**2) ** 0.5 height np.abs(height) # 焊点区域高于基板背景接近0 # 估算每个点的局部法向用K近邻搜索算协方差特征值 pcd_down.estimate_normals(o3d.geometry.KDTreeSearchParamKNN(k20)) tree o3d.geometry.KDTreeFlann(pcd_down) curvature [] for i in range(len(pcd_down.points)): _, idx, _ tree.search_knn_vector_3d(pcd_down.points[i], 20) neighbors points[idx] cov np.cov(neighbors.T) eigenvalues np.linalg.eigvalsh(cov) # 曲面变化量λ0/(λ0λ1λ2)值越大说明局部弯曲越剧烈 curvature.append(eigenvalues[0] / (eigenvalues.sum() 1e-12))RANSAC拟合基板平面时有个细节distance_threshold0.1mm表示只有距离平面0.1mm以内的点才视为内点焊点本身高于基板因此不会混进平面模型。height计算出来后把小于阈值的点直接置零得到的height_map就是纯焊点高度。法向变化量对桥连和锡珠非常敏感这两个缺陷的表面曲率显著高于平整焊点用curvature做一次阈值筛选就能把可疑区域候选框定出来。3.3 给模型喂什么特征从原始坐标到增强通道模型输入不是直接丢原始XYZ就能学好的。常见做法是把点云切成固定尺寸的块每个块内做特征增强生成多通道点云。一条比较稳的基线是以焊盘中心锚点切出40mm×40mm的块每块随机采样4096个点每个点拼接以下通道X, Y, Z原始坐标相对基板平面的高度差 h_z局部曲面变化量 c激光反射强度 intensityZ坐标直接使用会引入工装放置误差板子放斜1度远端焊点的Z值就整体偏移所以h_z通道比绝对Z重要得多。很多项目把这一步省略了模型训完换一台设备就漂移本质就是输入特征里混入了设备相关的系统偏差。反射强度是面结构光传感器自带的副产物对虚焊有额外的区分度因为锡面氧化程度会影响反射率这个通道在很多公开点云数据集里没有属于焊锡场景的定制优势。4. 焊锡缺陷检测模型从PointNet基线到局部几何建模4.1 为什么PointNet适合当基线DGCNN什么时候更值得换焊锡缺陷检测模型业界已经有很多开源方案可以借力难点不在找不到预训练权重而在自己的数据形态和公开数据集差异很大。PointNet是这类任务最常见的基础架构它用MLP逐点提取特征再用最大池化聚合成全局特征胜在简单、训练快、显存占用小。但直接拿原始PointNet处理焊点有个明显短板最大池化会丢掉小范围内的局部几何模式而桥连和虚焊恰恰是几十个点内的形变。PointNet在PointNet基础上加了分层Set Abstraction先在小邻域内做局部特征提取再逐层扩大感受野对缺陷这种跨尺度结构更友好。DGCNN又进一步用EdgeConv在动态更新的k近邻图上做卷积显式建模点与点之间的相对向量对焊点边缘的细微扰动更敏感。一块板上的焊点尺寸差异很大QFN引脚和BGA球的高度拐点尺度不同PointNet的多层采样天然覆盖这种多尺度需求。如果只是快速验证可行性先跑一个简化版PointNet就够import torch import torch.nn as nn import torch.nn.functional as F class SimplePointNet(nn.Module): def __init__(self, num_classes6): super().__init__() self.mlp nn.Sequential( nn.Linear(6, 64), nn.BatchNorm1d(64), nn.ReLU(), nn.Linear(64, 128), nn.BatchNorm1d(128), nn.ReLU(), nn.Linear(128, 256), nn.BatchNorm1d(256), nn.ReLU(), ) self.head nn.Sequential( nn.Linear(256, 128), nn.ReLU(), nn.Dropout(0.4), nn.Linear(128, num_classes) ) def forward(self, x): # x: B, C, NC6对应xyzh_zcurvatureintensity feat self.mlp(x.transpose(1, 2)) # B, N, 256 feat feat.transpose(1, 2) # B, 256, N g F.adaptive_max_pool1d(feat, 1).squeeze(-1) return self.head(g)代码里BatchNorm1d的输入维度要和特征维严格对齐常见报错是transpose之后维度顺序写反。forward中的x.transpose(1, 2)是把BCHW的通道维转到最后一维MLP逐点作用后再转回来。4.2 训练数据构造与缺陷标注少样本下怎么办产线能拿到的缺陷板数量很少良品板和缺陷板比例经常到50:1直接用原始数据训练模型会把所有焊点都判成良品。我一般会按焊盘中心切块而不是整板训练。切块能同时完成样本扩充和数据对齐一块板切成几十个单焊点块良品块和缺陷块就能分开过采样。缺陷类型点云特征建模方式虚焊焊点高度明显低于正常焊盘表面平坦分类标签 高度特征通道桥连相邻焊盘间出现不规则隆起分类标签 局部曲率通道少锡焊点体积偏小轮廓不饱满分类标签 焊点点数和高度方差锡珠焊点周围孤立小团点分类标签 连通域尺寸过滤偏移焊点中心偏离焊盘中心回归偏移量或分类尖锐度深度路线之外把随机森林和XGBoost当作快速基线也很常见输入用上一节算出的高度差、曲率、点密度等统计特征几十个样本就能跑出第一版结果用来验证采集链路是否靠谱。真到了部署阶段特征工程那一套反而容易卡在“新板型特征分布漂移”上。数据增强层面因为焊锡是刚体不适合做大幅扭曲通常只做绕Z轴的随机旋转±10度、Gaussian噪声0.01mm、随机体素重采样。特别注意旋转增强必须同步旋转特征通道里的法向和曲率值只转坐标不转特征的增强会让模型学到错误的对齐关系。4.3 训练参数设置和精度评估别只看准确率点云分类在这一场景的训练配置已经有了相对稳定的经验值可以直接抄参数推荐配置说明输入块尺寸40mm × 40mm × 5mm以单个焊盘为锚点切块保证每块包含完整焊点每块点数4096随机采样兼顾显存和信息量batch size16RTX 3060级别显卡可稳定运行初始学习率1e-3AdamW优化器配合cosine退火warmup5 epochs前5轮线性升到目标学习率损失函数Focal Lossα0.75, γ2.0压制良品样本主导数据增强随机旋转/加噪/重采样旋转±10°噪声σ0.01mm评估时重点关注缺陷类别的召回率和平均精度AP而不是整体accuracy。缺陷样本占比往往只有2%到3%accuracy做到99%也可能一个缺陷都没抓住。from sklearn.metrics import precision_recall_curve, average_precision_score # y_true是0/1标签y_prob是模型输出的缺陷概率 precision, recall, _ precision_recall_curve(y_true, y_prob) ap average_precision_score(y_true, y_prob) print(f缺陷类AP{ap:.4f}) # 根据产线容忍度反推阈值漏检比过杀更严重时往高召回一侧选 # 例如要求召回≥0.95取对应precision最高的阈值点AP值在0.90以上才比较可靠如果低于0.85先不要调网络结构回头检查采集和预处理环节大概率是点云空洞或对齐偏差把缺陷特征抹掉了。5. 可视化界面把点云检测结果变成产线可用的判级工具5.1 用PySide6把点云和判级结果放到一个界面里可视化界面不单纯是“长得好看”它要解决两个实际问题人工复判时快速定位缺陷位置以及让产线操作员不用看代码就能理解结果。PySide6是Python生态里最稳妥的桌面GUI选择搭配Open3D做点云渲染。Open3D自带可视化窗口直接把它嵌进Qt主窗口比较折腾我一般让两者各开各的窗口PySide6管文件列表、推理按钮和结果表格Open3D窗口负责交互式3D旋转查看。点云点数多推理和加载都耗时直接放在UI线程里界面会卡死鼠标点了没反应生产环境最忌讳这种交互体验。Qt的解法是QThread加信号槽把耗时的点云读取和模型推理挪到子线程import sys from PySide6.QtWidgets import QApplication, QMainWindow, QPushButton, QFileDialog, QTableWidget, QTableWidgetItem from PySide6.QtCore import QThread, Signal import open3d as o3d import numpy as np class InferenceWorker(QThread): finished Signal(dict) def __init__(self, path): super().__init__() self.path path def run(self): pcd o3d.io.read_point_cloud(self.path) res run_inference(pcd) # 推理在子线程完成 self.finished.emit(res) class MainWindow(QMainWindow): def __init__(self): super().__init__() self.btn QPushButton(选择点云文件) self.btn.clicked.connect(self.start_infer) self.table QTableWidget() self.worker None def start_infer(self): path, _ QFileDialog.getOpenFileName(self, 选择PLY, , *.ply) self.worker InferenceWorker(path) self.worker.finished.connect(self.show_result) self.worker.start() def show_result(self, res): pcd o3d.io.read_point_cloud(res[path]) colors np.zeros((len(pcd.points), 3)) # 缺陷区域标红正常区域保留原色 colors[res[defect_mask]] [1.0, 0.0, 0.0] pcd.colors o3d.utility.Vector3dVector(colors) o3d.visualization.draw_geometries([pcd]) self.table.setItem(0, 0, QTableWidgetItem(f{res[confidence]:.4f}))QThread对象必须用self.worker保存引用否则函数结束worker被垃圾回收线程直接崩掉。缺陷区域标红这一步有个性能隐患点云如果上百个点直接numpy切片indexing很划算但如果缺陷点数量少而全图点特别多建议先按体素分类聚合再上色避免每个点都写一遍颜色数组。C#写WinForm时常见的“循环数据采集UI刷新卡顿”问题在PySide6里用同样的线程加信号槽思路规避不需要在循环里硬塞sleep和DoEvents把渲染和推理交给异步信号驱动即可。界面卡顿的根源是主线程被阻塞谁阻塞谁负责优化。5.2 检测记录回放与报表导出让每块板的判定结果可追溯可视化界面的进阶用法是把“单块板看一次”升级成“整批次可回放”。每次推理完成后把缺陷类别、缺陷坐标、置信度、判定结果和点云文件路径写进SQLite或CSV。界面加一个按批次号和判定结果过滤的列表复判人员只挑“可疑”的板点开查看。这样即使模型漏判在人工复判环节也有机会拦下来。缺陷坐标建议直接存世界坐标系的真实毫米值不要只存点云索引。点云经过下采样后索引会变下次重新加载时索引对应关系就漂了。报表输出时把焊点坐标和缺陷类型一起导出文件名带产线批次号方便质量追溯。这块逻辑本身的代码量不大难的是字段规范缺陷类型、坐标、置信度、设备编号、时间戳五列必须齐全少了任何一列追溯时都要回炉重查。本文还有配套的精品资源点击获取