激活函数(机器学习)
创始人
2024-04-07 07:12:39
0

以下简单解释一下什么是激活函数,以及激活函数的作用,以及它的作用范围。

第一步:表示神经网络中的一个神经元


假设该神经元有三个输入单元,分别为 𝑥1,𝑥2,𝑥那么

𝑧=𝑥1𝑤1+𝑥2𝑤2+𝑥3𝑤3+𝑏

𝑎=𝜎𝑧a=σ(z)

第二步:也就是激活函数


它的作用是给神经网络增加非线性因素,并将中间结果归一化,方便后面的运算。

把计算结果压缩到 [0,1] 之间,便于后面的计算。

第三步:激活函数的性质


非线性:采用线性激活函数的作用为零;

可导性:做误差反向传播和梯度下降,必须要保证激活函数的可导性;

单调性:单一的输入会得到单一的输出,较大值的输入得到较大值的输出。

 第四步:1来代表一个神经元被激活,0代表一个神经元未被激活。


神经网络中的概念,用1来代表一个神经元被激活,0代表一个神经元未被激活。

这个阶跃函数的缺点是,它的梯度(导数)恒为零(个别点除外)。

反向传播公式中,梯度传递用到了链式法则,如果在这样一个连乘的式子其中有一项是零,总梯度就会恒为零,这意味着神经网络无法进行反向传播。

第五步:激活函数用在神经网络层与层之间的连接,最后一层不用激活函数。


激活函数用在神经网络层与层之间的连接,最后一层不用激活函数。

简言之:

神经网络最后一层不需要激活函数。

激活函数只用于连接相邻的两层神经网络。

相关内容

热门资讯

喜欢穿一身黑的男生性格(喜欢穿... 今天百科达人给各位分享喜欢穿一身黑的男生性格的知识,其中也会对喜欢穿一身黑衣服的男人人好相处吗进行解...
发春是什么意思(思春和发春是什... 本篇文章极速百科给大家谈谈发春是什么意思,以及思春和发春是什么意思对应的知识点,希望对各位有所帮助,...
网络用语zl是什么意思(zl是... 今天给各位分享网络用语zl是什么意思的知识,其中也会对zl是啥意思是什么网络用语进行解释,如果能碰巧...
为什么酷狗音乐自己唱的歌不能下... 本篇文章极速百科小编给大家谈谈为什么酷狗音乐自己唱的歌不能下载到本地?,以及为什么酷狗下载的歌曲不是...
家里可以做假山养金鱼吗(假山能... 今天百科达人给各位分享家里可以做假山养金鱼吗的知识,其中也会对假山能放鱼缸里吗进行解释,如果能碰巧解...
华为下载未安装的文件去哪找(华... 今天百科达人给各位分享华为下载未安装的文件去哪找的知识,其中也会对华为下载未安装的文件去哪找到进行解...
四分五裂是什么生肖什么动物(四... 本篇文章极速百科小编给大家谈谈四分五裂是什么生肖什么动物,以及四分五裂打一生肖是什么对应的知识点,希...
怎么往应用助手里添加应用(应用... 今天百科达人给各位分享怎么往应用助手里添加应用的知识,其中也会对应用助手怎么添加微信进行解释,如果能...
客厅放八骏马摆件可以吗(家里摆... 今天给各位分享客厅放八骏马摆件可以吗的知识,其中也会对家里摆八骏马摆件好吗进行解释,如果能碰巧解决你...
苏州离哪个飞机场近(苏州离哪个... 本篇文章极速百科小编给大家谈谈苏州离哪个飞机场近,以及苏州离哪个飞机场近点对应的知识点,希望对各位有...