【论文阅读】Resnet
创始人
2024-06-03 09:11:56
0

第一遍

深度残差学习

微软亚洲研究院

残差网络很容易训练,并且可以得到很好的精度

深八倍,更低的复杂度

CVPR要求正文数量不能超过八页

怎么让更深的神经网络更容易训练

通过图:在没有加残差层时,34层的网络的误差比18层的高;在加了残差层以后,34层的网络误差比18层的低

第二遍

introduction

读完就可以知道这篇文章的核心,intro是摘要的扩充版本,也是一个对整个工作的描述

网络变深,精度会变差

deep residual learning framework

核心思想:这一层学的结果不是h(x)而是h(x)+x

你的输出不是你的输出,而是你的输出+你的输入

short cut connection

identity mapping

不会加参数,也不会增加模型复杂度

related work

residual

shortcut connection

用同样的东西解决了一个新的问题,和以前的问题有一点不一样

to our best knowledge

实验

学习模型结构

训练精度、测试精度

SGD是慢慢收敛的过程 * 0.1

模型的参数调整也很重要

在所有超参数都一定的情况下,有残差的收敛效果更好

怎么样做更深的resnet:

对特征纬度降一次维,然后做空间维度的东西,最后再回到最初的维度

random crop:随机裁剪

残差连接主要做的事情:如果新加上的层不能让你的模型更好,如果有残差连接的存在,后面的层就不会学到什么东西,所以效果不会变差

在大数据集、小数据、和一个目标检测数据集上分别做了实验

残差连接可以使模型不用过度复杂化,加了残度会让梯度比较大,这样就训练的动

SGD的精髓是让梯度够大,最后的结果会比较好,慢慢地总会收敛

模型复杂度降低,过拟合就不会那么严重,找到一个不那么复杂的模型去拟合数据

这篇文章提出了一个更简单的方法来训练更深的模型

理论和实验二选其一,只要有一个亮点,就蛮好的

只要文章是有启发性的东西的,就可以算一个好东西

在这里插入图片描述

在这里插入图片描述

相关内容

热门资讯

喜欢穿一身黑的男生性格(喜欢穿... 今天百科达人给各位分享喜欢穿一身黑的男生性格的知识,其中也会对喜欢穿一身黑衣服的男人人好相处吗进行解...
发春是什么意思(思春和发春是什... 本篇文章极速百科给大家谈谈发春是什么意思,以及思春和发春是什么意思对应的知识点,希望对各位有所帮助,...
网络用语zl是什么意思(zl是... 今天给各位分享网络用语zl是什么意思的知识,其中也会对zl是啥意思是什么网络用语进行解释,如果能碰巧...
为什么酷狗音乐自己唱的歌不能下... 本篇文章极速百科小编给大家谈谈为什么酷狗音乐自己唱的歌不能下载到本地?,以及为什么酷狗下载的歌曲不是...
华为下载未安装的文件去哪找(华... 今天百科达人给各位分享华为下载未安装的文件去哪找的知识,其中也会对华为下载未安装的文件去哪找到进行解...
怎么往应用助手里添加应用(应用... 今天百科达人给各位分享怎么往应用助手里添加应用的知识,其中也会对应用助手怎么添加微信进行解释,如果能...
家里可以做假山养金鱼吗(假山能... 今天百科达人给各位分享家里可以做假山养金鱼吗的知识,其中也会对假山能放鱼缸里吗进行解释,如果能碰巧解...
一帆风顺二龙腾飞三阳开泰祝福语... 本篇文章极速百科给大家谈谈一帆风顺二龙腾飞三阳开泰祝福语,以及一帆风顺二龙腾飞三阳开泰祝福语结婚对应...
美团联名卡审核成功待激活(美团... 今天百科达人给各位分享美团联名卡审核成功待激活的知识,其中也会对美团联名卡审核未通过进行解释,如果能...
四分五裂是什么生肖什么动物(四... 本篇文章极速百科小编给大家谈谈四分五裂是什么生肖什么动物,以及四分五裂打一生肖是什么对应的知识点,希...