由于线性模型的表达能力不够(甚至不能表达异或),需要使用激活函数(activation function)引入非线性因素,常用的激活函数有sigmoid函数、tanh函数、ReLu函数及其改进函数和Maxout等。 sigmod激活函数 $$sigmoid(x)=\frac{1}{1+e^{-x}}$$ 函数图像 sigmoid 函数图像是一条光滑的”S”型曲线, 函……