简介这份资源是面向计算机相关专业学生与项目实战学习者的课程设计源码包聚焦基于Python实现的单目与双目视觉三维重建适合正在做毕设、期末大作业或需要视觉算法练手项目的人群。包内共41个文件以34张jpg图像样本、3个py脚本、2个txt说明、1个md文档和1个png示意图为主压缩包约80.23MB涵盖单目重建、双目立体匹配与图像拼接等核心模块目录结构清晰便于按功能定位代码与素材。资源已获141人学习代码完整可运行对新手较为友好。读者可据此理解相机标定、视差计算、深度图生成与点云重建的完整链路并借助配套图像与说明文档快速复现实验、排查运行问题也可在此基础上扩展自己的课程设计或毕业设计选题。1. 从课程设计到能跑的三维重建单目双目视觉到底怎么落地很多人做课程设计时都会遇到这个题目基于 Python 实现单目双目视觉三维重建。听起来像是把两个摄像头拍到的图丢进去三维模型就出来了但真正动手才发现标定、校正、匹配、三角化、点云滤波每一步都能卡住人。这个方向的核心价值在于它把计算机视觉里最经典的几何链路完整串了一遍从相机内参、外参到极线校正、立体匹配再到深度图转点云。单目和双目不是二选一而是互补——单目靠运动恢复结构双目靠视差直接算深度。适合谁适合正在做课程设计、想拿高分项目、或者想从零搭一套可复现三维重建管线的同学和初级工程师。下面我按实际做过的路径把选型、代码、参数和踩坑一次讲清。2. 单目与双目两条路先搞清原理再决定代码怎么写2.1 单目重建靠什么运动恢复结构与尺度模糊单目三维重建的本质是用一个相机从不同角度拍同一个场景通过特征点匹配和几何约束恢复出相机位姿和三维点。常见做法是 SfMStructure from Motion加 MVSMulti-View Stereo。Python 里能用的库有 OpenCV 的sfm模块、COLMAP 的 Python 绑定或者自己写对极几何求解。但单目有个天生问题尺度模糊。你恢复出来的模型大小是相对的没有真实物理单位。课程设计里如果只要求“看起来像三维”单目够用如果要测距、要绝对尺寸必须上双目或者加已知尺寸的标定物。我一般会先跑一个最小 SfM 验证链路读两张图提取 SIFT 特征匹配算基础矩阵恢复相机矩阵三角化。代码不长但能让你看清每一步的输入输出。import cv2 import numpy as np # 读入两张图像灰度化 img1 cv2.imread(left.jpg, 0) img2 cv2.imread(right.jpg, 0) # SIFT 特征提取与匹配 sift cv2.SIFT_create() kp1, des1 sift.detectAndCompute(img1, None) kp2, des2 sift.detectAndCompute(img2, None) bf cv2.BFMatcher() matches bf.knnMatch(des1, des2, k2) # Lowes ratio test 过滤误匹配 good [] for m, n in matches: if m.distance 0.75 * n.distance: good.append(m) # 提取匹配点坐标 pts1 np.float32([kp1[m.queryIdx].pt for m in good]) pts2 np.float32([kp2[m.trainIdx].pt for m in good]) # 计算基础矩阵 F, mask cv2.findFundamentalMat(pts1, pts2, cv2.FM_RANSAC) print(基础矩阵 F:\n, F)这段代码里k2是 KNN 匹配取最近的两个邻居0.75是 Lowe 推荐的比值阈值低于它才认为是可靠匹配。findFundamentalMat用 RANSAC 剔除外点mask标记哪些点是内点。跑通后你会得到 F 矩阵下一步用cv2.recoverPose拿相机旋转平移再cv2.triangulatePoints得到三维点。注意单目这里得到的平移向量是单位化的没有真实尺度。2.2 双目重建靠什么视差转深度标定是命门双目三维重建的公式很简洁深度 焦距 × 基线 / 视差。但前提是两张图已经极线校正左右相机内参和外参都标定好了。Python 里用 OpenCV 的stereoCalibrate和stereoRectify就能完成。标定质量直接决定深度图质量棋盘格标定板要拍够 15 到 20 组角度覆盖要全不能只在一个平面晃。标定完用StereoSGBM算视差图再reprojectImageTo3D转点云。这里有个参数陷阱numDisparities必须是 16 的倍数blockSize取奇数通常 5 到 11 之间。太小噪声大太大边缘糊。import cv2 import numpy as np # 假设已经通过 stereoCalibrate 得到 K1, D1, K2, D2, R, T # 读取左右图 imgL cv2.imread(left.png, 0) imgR cv2.imread(right.png, 0) # 极线校正 R1, R2, P1, P2, Q, _, _ cv2.stereoRectify( K1, D1, K2, D2, (imgL.shape[1], imgL.shape[0]), R, T, alpha0) # 生成校正映射并应用 map1x, map1y cv2.initUndistortRectifyMap(K1, D1, R1, P1, imgL.shape[::-1], cv2.CV_32FC1) map2x, map2y cv2.initUndistortRectifyMap(K2, D2, R2, P2, imgR.shape[::-1], cv2.CV_32FC1) rectL cv2.remap(imgL, map1x, map1y, cv2.INTER_LINEAR) rectR cv2.remap(imgR, map2x, map2y, cv2.INTER_LINEAR) # SGBM 立体匹配 stereo cv2.StereoSGBM_create( minDisparity0, numDisparities64, # 必须是 16 的倍数 blockSize7, # 奇数5~11 常见 P18 * 3 * 7 ** 2, P232 * 3 * 7 ** 2, disp12MaxDiff1, uniquenessRatio10, speckleWindowSize100, speckleRange32 ) disp stereo.compute(rectL, rectR).astype(np.float32) / 16.0 # 视差转三维点 points_3d cv2.reprojectImageTo3D(disp, Q) print(点云形状:, points_3d.shape)alpha0表示校正后图像只保留有效区域alpha1会保留全部但引入黑边。P1和P2是平滑惩罚项控制视差连续性经验公式是P1 8 * channels * blockSize^2P2 32 * channels * blockSize^2。uniquenessRatio取 5 到 15越大越严格视差图越稀疏。speckleWindowSize用来过滤小连通区域噪声100 左右比较稳。2.3 选型建议课程设计怎么选单目还是双目如果你的课程设计重点是“三维重建”四个字且要求有真实尺度、能测距选双目。硬件成本低两个同型号 USB 摄像头加一块硬板固定基线就行。如果重点是“从图像序列恢复结构”且允许尺度模糊选单目用 COLMAP 或 OpenCV SfM 跑通流程再补一个点云可视化。常见做法是双目做深度图单目做稀疏点云两者结合展示。但课程设计时间有限我一般建议先跑通双目因为链路短、结果直观、参数可调、容易出图。3. 从零搭一套双目重建标定、校正、匹配、点云四步走3.1 相机标定棋盘格拍摄与 stereoCalibrate 参数标定是双目的地基。你需要打印一张棋盘格比如 9x6 角点方格边长 25mm。左右相机同时拍 15 到 20 组棋盘格要出现在画面不同位置左上、右下、倾斜、远近。拍完后分别做单目标定再用stereoCalibrate联合优化。import cv2 import numpy as np import glob # 棋盘格内角点数 pattern_size (9, 6) objp np.zeros((pattern_size[0] * pattern_size[1], 3), np.float32) objp[:, :2] np.mgrid[0:pattern_size[0], 0:pattern_size[1]].T.reshape(-1, 2) objp * 25.0 # 方格实际尺寸 25mm objpoints [] imgpointsL [] imgpointsR [] imagesL sorted(glob.glob(calib/left_*.jpg)) imagesR sorted(glob.glob(calib/right_*.jpg)) for fL, fR in zip(imagesL, imagesR): imgL cv2.imread(fL) imgR cv2.imread(fR) grayL cv2.cvtColor(imgL, cv2.COLOR_BGR2GRAY) grayR cv2.cvtColor(imgR, cv2.COLOR_BGR2GRAY) retL, cornersL cv2.findChessboardCorners(grayL, pattern_size, None) retR, cornersR cv2.findChessboardCorners(grayR, pattern_size, None) if retL and retR: objpoints.append(objp) imgpointsL.append(cornersL) imgpointsR.append(cornersR) # 单目标定 retL, K1, D1, _, _ cv2.calibrateCamera(objpoints, imgpointsL, grayL.shape[::-1], None, None) retR, K2, D2, _, _ cv2.calibrateCamera(objpoints, imgpointsR, grayR.shape[::-1], None, None) # 双目标定 ret, K1, D1, K2, D2, R, T, E, F cv2.stereoCalibrate( objpoints, imgpointsL, imgpointsR, K1, D1, K2, D2, grayL.shape[::-1], flagscv2.CALIB_FIX_INTRINSIC ) print(基线长度(mm):, np.linalg.norm(T))CALIB_FIX_INTRINSIC表示固定单目标定得到的内参只优化外参。如果拍摄质量好也可以放开一起优化。np.linalg.norm(T)就是基线长度应该接近你实际测量的两个摄像头光心距离。如果差太多说明标定有问题检查棋盘格角点检测是否准确。3.2 极线校正与立体匹配SGBM 参数怎么调校正后左右图的极线变成水平线同一个物点在两幅图上的 y 坐标一致只在 x 方向有视差。stereoRectify输出的Q矩阵是重投影矩阵把视差图转成三维点云时要用。SGBM 参数没有万能值但有一套调试顺序先调numDisparities让视差范围覆盖场景最近和最远距离再调blockSize噪声大就加大边缘糊就减小然后调uniquenessRatio和speckleWindowSize去噪。我一般会保存视差图用cv2.applyColorMap上色肉眼检查。# 视差图归一化并上色 disp_vis cv2.normalize(disp, None, 0, 255, cv2.NORM_MINMAX) disp_vis np.uint8(disp_vis) disp_color cv2.applyColorMap(disp_vis, cv2.COLORMAP_JET) cv2.imwrite(disparity.png, disp_color) # 过滤无效视差 mask disp disp.min() points cv2.reprojectImageTo3D(disp, Q) colors cv2.cvtColor(rectL, cv2.COLOR_GRAY2BGR) out_points points[mask] out_colors colors[mask] # 保存为 PLY 点云 def write_ply(fname, verts, colors): with open(fname, w) as f: f.write(ply\nformat ascii 1.0\n) f.write(felement vertex {len(verts)}\n) f.write(property float x\nproperty float y\nproperty float z\n) f.write(property uchar red\nproperty uchar green\nproperty uchar blue\n) f.write(end_header\n) for v, c in zip(verts, colors): f.write(f{v[0]} {v[1]} {v[2]} {c[2]} {c[1]} {c[0]}\n) write_ply(cloud.ply, out_points, out_colors)mask用来去掉视差为负或无效的点。reprojectImageTo3D输出的坐标单位跟标定时的棋盘格尺寸一致如果你标定时用了 mm点云就是 mm。PLY 文件可以用 MeshLab 或 CloudCompare 打开。注意SGBM 在纹理弱的区域白墙、桌面会大片失效这是算法本身限制不是代码 bug。3.3 点云后处理滤波、下采样与可视化原始点云通常有几万到几十万个点带噪声和离群点。用 Open3D 做后处理最方便体素下采样、统计滤波、半径滤波然后可视化。import open3d as o3d pcd o3d.io.read_point_cloud(cloud.ply) print(原始点数:, len(pcd.points)) # 体素下采样体素大小根据场景尺度调这里 2mm down pcd.voxel_down_sample(voxel_size2.0) # 统计滤波去掉离群点 cl, ind down.remove_statistical_outlier(nb_neighbors20, std_ratio2.0) # 半径滤波去掉稀疏点 cl, ind cl.remove_radius_outlier(nb_points16, radius5.0) o3d.io.write_point_cloud(cloud_filtered.ply, cl) o3d.visualization.draw_geometries([cl])voxel_size决定下采样后点间距太小起不到加速作用太大丢失细节。nb_neighbors20表示每个点看周围 20 个邻居std_ratio2.0是标准差倍数越小过滤越狠。remove_radius_outlier里nb_points16和radius5.0要配合点云密度调。如果点云本来就很稀这两个滤波会把有效点也删掉先下采样再滤波比较稳。4. 避坑与排查标定、匹配、点云里最容易翻车的五件事4.1 标定重投影误差大于 1 像素深度图全是噪声现象stereoCalibrate返回的ret值大于 1.0甚至到 2.0 以上后续视差图杂乱无章。原因通常是棋盘格角点检测不准或者拍摄时棋盘格有运动模糊或者左右相机没有硬件同步导致同一组图里棋盘格位置不一致。解决重新拍用硬板固定棋盘格避免反光左右相机用同一触发信号或手动同时拍。检查findChessboardCorners的返回值只保留retTrue的组。如果还是高尝试cv2.cornerSubPix做亚像素优化。4.2 numDisparities 设小了近处物体深度直接丢失现象视差图里近处物体一片黑点云缺一块。原因numDisparities决定了搜索范围如果场景最近距离对应的视差超过这个值就匹配不到。解决先估算最大视差。公式是max_disp focal * baseline / min_depth。比如焦距 800 像素基线 60mm最近 300mm最大视差约 160那numDisparities至少设 17616 的倍数。但设太大会增加计算量也会引入更多误匹配所以先量一下场景最近距离。4.3 极线校正后图像边缘黑边匹配在黑边区域全错现象校正后的左右图边缘有黑色区域SGBM 在这些区域产生大量错误视差。原因stereoRectify的alpha0会裁掉无效区域但裁切后图像尺寸可能变化或者alpha1保留黑边。解决用alpha0并检查P1、P2的尺寸确保initUndistortRectifyMap输出的 map 尺寸和原图一致。如果必须保留黑边在匹配前把黑边区域 mask 掉或者用cv2.copyMakeBorder填充后再裁切。4.4 点云颜色和位置对不上PLY 打开是花的现象MeshLab 里点云形状对但颜色错乱。原因reprojectImageTo3D输出的点顺序和rectL的像素顺序一致但如果你用了mask过滤out_colors也必须用同一个mask过滤。另外 OpenCV 读图是 BGRPLY 里通常写 RGB写文件时要换序。解决检查out_points和out_colors是否用同一个 mask写 PLY 时确认通道顺序。4.5 单目 SfM 跑出来尺度不对课程设计答辩被问住现象单目重建的点云形状合理但尺寸和真实物体差一个数量级。原因单目 SfM 本身没有绝对尺度恢复的平移向量是归一化的。解决在场景里放一个已知尺寸的物体比如棋盘格用它的三维点距离反推尺度因子再乘到所有点上。或者直接改用双目从源头解决尺度问题。答辩时如果被问就解释单目尺度模糊的数学原因并展示你如何用已知物体恢复尺度。5. 进阶技巧用 NeRF 思路给传统双目补细节传统双目在弱纹理区域和反光表面容易失效这是 SGBM 的硬伤。最近 NeRF 三维重建很火但纯 NeRF 需要多视角密集拍摄课程设计里不现实。我试过一个折中方案用双目点云做几何初始化再用一个小型 NeRF 网络对点云周围做密度和颜色优化。具体做法是把双目点云作为先验采样射线时只在点云附近采样减少网络搜索空间。这样既保留了双目的真实尺度又补上了弱纹理区域的细节。import torch import torch.nn as nn class TinyNeRF(nn.Module): def __init__(self, hidden64): super().__init__() self.net nn.Sequential( nn.Linear(3 3, hidden), nn.ReLU(), nn.Linear(hidden, hidden), nn.ReLU(), nn.Linear(hidden, 4) # rgb sigma ) def forward(self, x, d): # x: 三维位置, d: 方向 h torch.cat([x, d], dim-1) return self.net(h) # 用双目点云初始化采样范围 # 训练时只对点云附近的射线做渲染损失这个网络很小参数量不到 10 万在单卡上跑几百张图就能收敛。关键点是采样策略不要全空间均匀采样而是以双目点云为中心按高斯分布采样。这样训练快而且不会偏离真实几何太远。验证方法渲染一张新视角的图和真实拍摄的图算 PSNR如果比纯 SGBM 点云投影的 PSNR 高说明 NeRF 补出了细节。我自己的习惯是课程设计先保证传统链路能跑通、能出图、能解释每个参数再考虑加 NeRF 这种进阶模块。不要一上来就堆深度学习标定没做好NeRF 也救不回来。希望帮到你。本文还有配套的精品资源点击获取