新闻详情

新闻详情

首页 / 资讯中心 / 详情

self attention 中的 K 和 Q 是用来做什么的?

发布时间:2026/9/29 21:13:40来源:尧图网络
self attention 中的 K 和 Q 是用来做什么的?
👨‍⚕️主页: gis分享者👨‍⚕️感谢各位大佬 点赞👍 收藏⭐ 留言📝 加关注✅!👨‍⚕️收录于专栏:AI大模型原理和应用面试题文章目录一、🍀回答重点二、🍀扩展知识一、🍀回答重点在 self attention(自注意力机制)中,K(Key)和 Q(Query)主要是用来衡量输入序列中各个元素之间的相似度和相关性。具体来说,query(Q)向量用于表示查询,key(K)向量用于表示我们用来比对的键,通过计算 query 和 key 的点积,我们可以得到一组注意力权重(attention weights)。这些权重表示了查询和每个键之间的相关性,权重越高,表示查询与键越相关。最终,这些权重用于加权求和 value(V)向量,得到最终的输出。二、🍀扩展知识1)更详细的过程解释: 自注意力机制中的基本步骤如下:线性变换: 原始输入序列通过线性变换产生 Q、K 和 V 矩阵。这些线性变换一般是通过权重矩阵 Wq、Wk 和 Wv 实现的,即 Q = XWq, K = XWk, V = XWv。计算注意力得分: 对于 Query 向量 Q 和 Key 向量 K,计算他们的点积(类似余弦相似度),然后缩放(除以sqrt(d_k)),得出一个注意力得分矩阵。Softmax 归一
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

用决策模型搭一个工单路由原型:含兜底策略 18 条全对,代价是 1600 毫秒和零 API 费 2026/9/29 21:51:42

用决策模型搭一个工单路由原型:含兜底策略 18 条全对,代价是 1600 毫秒和零 API 费

用决策模型搭一个工单路由原型:含兜底策略 18 条全对,代价是 1600 毫秒和零 API 费 上一篇《APUS-OpenJev-v1:不写小作文的决策模型,部署与实测》结尾我写了 40 行 Python,把同一个模型从浏览器里拽出来做客服工单路由…

阅读更多 →
网页中的视频怎么保存?2026 年亲测可用的方法 2026/9/29 21:51:42

网页中的视频怎么保存?2026 年亲测可用的方法

网页里的视频能够正常播放,右键却没有“视频另存为”;复制地址交给另一个工具,得到的可能只是网页链接;偶尔找到一个以 blob: 开头的地址,单独打开又无法使用。 这些情况背后的原因并不相同。有的页面直接加载完整视频…

阅读更多 →
连锁排班系统落地,规则梳理是首要前提 2026/9/29 21:51:42

连锁排班系统落地,规则梳理是首要前提

门店排班混乱、工时算错、月底薪资反复核对——这是连锁零售行业 HR 最消耗精力的事务黑洞。按「规则梳理→系统配置→自动算薪→异常闭环」四步落地考勤排班系统,门店排班耗时可压缩 70% 以上,工时差错率降至 1% 以下。 Moka AI 旗下人事 Eva已帮助 35…

阅读更多 →
TRIBE v2 训练数据集深度解析:Algonauts2025、Wen2017 等 4 大 fMRI 数据集组织原理 2026/9/29 21:51:42

TRIBE v2 训练数据集深度解析:Algonauts2025、Wen2017 等 4 大 fMRI 数据集组织原理

TRIBE v2 训练数据集深度解析:Algonauts2025、Wen2017 等 4 大 fMRI 数据集组织原理 【免费下载链接】tribev2 This repository contains the code to train and evaluate TRIBE v2, a multimodal model for brain response prediction 项目地址: https://gitcode…

阅读更多 →
拼多多商家后台店铺管理工作台全方位实操指南(新手必看+高效运营技巧) 2026/9/29 21:51:42

拼多多商家后台店铺管理工作台全方位实操指南(新手必看+高效运营技巧)

拼多多商家后台店铺管理工作台全方位实操指南(新手必看高效运营技巧)哈喽,各位拼多多电商从业者!很多新手商家开店后,第一步就陷入误区:只顾着上架商品、盲目开推广,却完全不熟悉拼多多商家后台…

阅读更多 →
退磁的原理与方法 2026/9/29 21:51:29

退磁的原理与方法

退磁(demagnetization)又称磁清洗(magnetic cleaning)、消磁等,就是指磁体恢复到磁中性状态的过程,也可称为磁中性化。 在工业处理中,退磁的方法有三种: 1、静态退磁 加一个与磁体原…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉