以下简单解释一下什么是激活函数,以及激活函数的作用,以及它的作用范围。
假设该神经元有三个输入单元,分别为 𝑥1,𝑥2,𝑥3 那么:
𝑧=𝑥1𝑤1+𝑥2𝑤2+𝑥3𝑤3+𝑏
𝑎=𝜎𝑧a=σ(z)
它的作用是给神经网络增加非线性因素,并将中间结果归一化,方便后面的运算。
把计算结果压缩到 [0,1] 之间,便于后面的计算。
非线性:采用线性激活函数的作用为零;
可导性:做误差反向传播和梯度下降,必须要保证激活函数的可导性;
单调性:单一的输入会得到单一的输出,较大值的输入得到较大值的输出。神经网络中的概念,用1来代表一个神经元被激活,0代表一个神经元未被激活。
这个阶跃函数的缺点是,它的梯度(导数)恒为零(个别点除外)。
反向传播公式中,梯度传递用到了链式法则,如果在这样一个连乘的式子其中有一项是零,总梯度就会恒为零,这意味着神经网络无法进行反向传播。
激活函数用在神经网络层与层之间的连接,最后一层不用激活函数。
简言之:
神经网络最后一层不需要激活函数。
激活函数只用于连接相邻的两层神经网络。