模型量化(5): 敏感层分析
创始人
2025-05-30 18:15:09
0次
在实际PTQ或者QAT过程中，我们不知道哪些层属于敏感层，从而在量化的过程中跳过这些层，所以就需要进行敏感层分析。通过分析每层是否量化对map或者是精度的影响程度，从而确定敏感层。
在做PTQ或者QAT前，建议先进行敏感层分析，从而跳过这些敏感层不量化，使得最终的量化精度最高。
敏感层分析步骤
第一步:加载Torch框架训练完成的模型第二步：手动替换模型的算子为quant_nn的算子，同时也要考虑敏感层的加入第三步：制作校准所需的Dataloader,这里选择YOLOv5官方的即可第四步:校准模型第五步：敏感层的分析，主要是通过关闭不同的层的量化，进行进度的对比
步骤其实和PTQ量化的步骤基本上是一样的，主要区别在第二步敏感层的加入以及第五步的敏感层的分析 。 其中加载模型，dataloader,以及模型校准是和上文PTQ量化分析是一模一样的。
敏感层
上一篇：【Spring Boot】SpringBoot项目jar、war包启动解析
下一篇：空调扇制冷效果怎么样（空调扇的制冷效果怎么样?知乎问答） 空调扇制冷效果怎么样耗电怎么样 空调扇制冷效果怎么样知乎
相关内容
热门资讯
喜欢穿一身黑的男生性格（喜欢穿...
今天百科达人给各位分享喜欢穿一身黑的男生性格的知识，其中也会对喜欢穿一身黑衣服的男人人好相处吗进行解...
发春是什么意思（思春和发春是什...
本篇文章极速百科给大家谈谈发春是什么意思，以及思春和发春是什么意思对应的知识点，希望对各位有所帮助，...
网络用语zl是什么意思（zl是...
今天给各位分享网络用语zl是什么意思的知识，其中也会对zl是啥意思是什么网络用语进行解释，如果能碰巧...
为什么酷狗音乐自己唱的歌不能下...
本篇文章极速百科小编给大家谈谈为什么酷狗音乐自己唱的歌不能下载到本地?，以及为什么酷狗下载的歌曲不是...
华为下载未安装的文件去哪找（华...
今天百科达人给各位分享华为下载未安装的文件去哪找的知识，其中也会对华为下载未安装的文件去哪找到进行解...
家里可以做假山养金鱼吗（假山能...
今天百科达人给各位分享家里可以做假山养金鱼吗的知识，其中也会对假山能放鱼缸里吗进行解释，如果能碰巧解...
四分五裂是什么生肖什么动物（四...
本篇文章极速百科小编给大家谈谈四分五裂是什么生肖什么动物，以及四分五裂打一生肖是什么对应的知识点，希...
怎么往应用助手里添加应用（应用...
今天百科达人给各位分享怎么往应用助手里添加应用的知识，其中也会对应用助手怎么添加微信进行解释，如果能...
一帆风顺二龙腾飞三阳开泰祝福语...
本篇文章极速百科给大家谈谈一帆风顺二龙腾飞三阳开泰祝福语，以及一帆风顺二龙腾飞三阳开泰祝福语结婚对应...
美团联名卡审核成功待激活（美团...
今天百科达人给各位分享美团联名卡审核成功待激活的知识，其中也会对美团联名卡审核未通过进行解释，如果能...