新闻详情

新闻详情

首页 / 资讯中心 / 详情

06-静态物体精准抓取:检测+坐标转换+机械臂运动调用

发布时间:2026/11/9 14:33:37来源:尧图网络
06-静态物体精准抓取:检测+坐标转换+机械臂运动调用
静态物体精准抓取:检测+坐标转换+机械臂运动调用作者:黒漂技术佬场景:智慧农业果蔬采摘、无人售货柜商品分拣、工控产线零件取放一、静态抓取到底在干什么?先说人话:静态抓取就是物体不动,机械臂去把它拿起来。听起来简单,但拆开来看,这背后是一条完整的工程链路:摄像头拍照 → YOLO检测目标 → 像素坐标转机械臂坐标 → 逆运动学算关节角 → 运动规划 → 夹爪执行每一步都可能出错,任何一环偏差1厘米,到末端就是"抓了个寂寞"。所以咱们一步一步掰开揉碎讲。二、步骤一:YOLO检测目标位置摄像头拍到的图像是二维的,YOLO(You Only Look Once)做的就是把目标框出来,告诉你这个物体在图像中的像素坐标 (u, v)。fromultralyticsimportYOLOimportcv2# 加载训练好的模型model=YOLO("best.pt")# 读取摄像头画面frame=cv2.imread("scene.png")results=model(frame,verbose=False)# 提取第一个检测框的中心像素坐标forboxinresults[0].boxes:x1,y1,x2,y2=box.xyxy[0].tolist()u=int((x1+x2)/2)# 像素中心xv=int((y1+y2)/2)# 像素中心yconf=box.conf[0].item()print(f"目标像素坐标: ({u},{v}), 置信度:{conf:.2f}")小白必问:像素坐标是啥?你的屏幕分辨率1920×1080,每个点就是一个像素。YOLO输出的(u, v)就是目标在图像里的行列号。但机械臂不认识像素,它只认"毫米",所以下一步必须做坐标转换。三、步骤二:手眼标定——像素坐标转机械臂坐标这是整个流程里最容易翻车的一步。机械臂有自己的基坐标系(Base Frame),摄像头有自己的相机坐标系(Camera Frame)。你要把像素坐标翻译成机械臂能理解的(X, Y, Z)三维坐标,靠的就是手眼标定矩阵。标定矩阵长什么样?标定得到一个 4×4 的齐次变换矩阵:[H_camera_to_base] = | R(3x3) T(3x1) | | 0 0 0 1 |R是旋转矩阵,描述相机和机械臂之间的角度关系T是平移向量,描述两者之间的位置偏移坐标转换代码importnumpyasnpdefpixel_to_arm_coords(u,v,depth,H_cam2base,camera_matrix,dist_coeffs):""" 像素坐标 - 相机三维坐标 - 机械臂基坐标 depth: 目标到相机的距离(毫米),通过深度相机或已知高度获取 """
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/8 22:42:07

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/9 8:37:19

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/9 8:37:19

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/8 22:41:24

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/9 8:37:18

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/9 8:37:18

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉