银财中国网
你给我解释解释，什么TMD叫TMD attention（持续更新ing...）
创始人
2024-02-10 16:26:20
0次

诸神缄默不语-个人CSDN博文目录

开宗明义：attention就是一个加权机制，但是权重需要经过训练得到。
本文介绍一些我自己整理的常见attention类型。

本文不关注别的博文里已经写烂了的attention机制的重要性和直觉解释（又不是写论文还要写introduction）。

最近更新时间：2022.11.23
最早更新时间：2022.11.23

文章目录

  • 1. attention基础概念讲解
  • 2. attention结果计算方法
    • 2.1 加权求和式
      • 2.1.1 Scaled Dot-Product Attention
  • 2. KQV计算方式
    • 2.1 self-attention
  • 3. 其他本文撰写过程中使用到的参考资料

1. attention基础概念讲解

2. attention结果计算方法

2.1 加权求和式

2.1.1 Scaled Dot-Product Attention

在这里插入图片描述
经典用例：Transformer1

2. KQV计算方式

2.1 self-attention

KQV都由输入通过线性转换运算得到。
经典用例：Transformer1

3. 其他本文撰写过程中使用到的参考资料

  1. Transformer 模型详解

  1. Attention Is All You Need ↩︎ ↩︎

上一篇：阿森纳亨利（阿森纳亨利时代） 阿森纳亨利 阿森纳亨利队友

下一篇：手部IK，自制动画，蒙太奇——开门手臂自动弯曲、靠墙手自动扶墙

相关内容

热门资讯

喜欢穿一身黑的男生性格（喜欢穿... 今天百科达人给各位分享喜欢穿一身黑的男生性格的知识，其中也会对喜欢穿一身黑衣服的男人人好相处吗进行解...
发春是什么意思（思春和发春是什... 本篇文章极速百科给大家谈谈发春是什么意思，以及思春和发春是什么意思对应的知识点，希望对各位有所帮助，...
网络用语zl是什么意思（zl是... 今天给各位分享网络用语zl是什么意思的知识，其中也会对zl是啥意思是什么网络用语进行解释，如果能碰巧...
为什么酷狗音乐自己唱的歌不能下... 本篇文章极速百科小编给大家谈谈为什么酷狗音乐自己唱的歌不能下载到本地?，以及为什么酷狗下载的歌曲不是...
华为下载未安装的文件去哪找（华... 今天百科达人给各位分享华为下载未安装的文件去哪找的知识，其中也会对华为下载未安装的文件去哪找到进行解...
家里可以做假山养金鱼吗（假山能... 今天百科达人给各位分享家里可以做假山养金鱼吗的知识，其中也会对假山能放鱼缸里吗进行解释，如果能碰巧解...
四分五裂是什么生肖什么动物（四... 本篇文章极速百科小编给大家谈谈四分五裂是什么生肖什么动物，以及四分五裂打一生肖是什么对应的知识点，希...
怎么往应用助手里添加应用（应用... 今天百科达人给各位分享怎么往应用助手里添加应用的知识，其中也会对应用助手怎么添加微信进行解释，如果能...
客厅放八骏马摆件可以吗（家里摆... 今天给各位分享客厅放八骏马摆件可以吗的知识，其中也会对家里摆八骏马摆件好吗进行解释，如果能碰巧解决你...
美团联名卡审核成功待激活（美团... 今天百科达人给各位分享美团联名卡审核成功待激活的知识，其中也会对美团联名卡审核未通过进行解释，如果能...