常见tensorflow激活函数种类及其图像是什么-群英

这篇文章主要讲解了“常见tensorflow激活函数种类及其图像是什么”，文中的讲解内容简单、清晰、详细，对大家学习或是工作可能会有一定的帮助，希望大家阅读完这篇文章能有所收获。下面就请大家跟着小编的思路一起来学习一下吧。

哦豁，激活函数那么厉害，那常见的激活函数有什么呢？感觉还挺多的。

常见的激活函数种类及其图像

特点：sigmoid函数函数在不同的地方表达方式不同，常用的名称就是sigmoid和logsig，它能够把输入的连续实值变换为0和1之间的输出，如果输入是特别大的负数，则输出为0，如果输入是特别大的正数，则输出为1。

缺点：

其计算公式为：

其图像如下所示。

特点：它能够把输入的连续实值变换为-1和1之间的输出，如果输入是特别大的负数，则输出为-1，如果输入是特别大的正数，则输出为1；

解决了Sigmoid函数的不是0均值的问题。

缺点：梯度消失的问题和幂运算的问题仍然存在。

其计算公式为：

其图像如下所示。

特点：解决了梯度消失的问题；计算速度非常快，只需要判断输入是否大于0；

收敛速度远快于sigmoid和tanh两个函数。

缺点：不是0均值。

其计算公式为：

其图像如下所示

特点：softplus函数相当于平滑版的relu函数。

缺点：不是0均值。

其计算公式为：

其图像如下所示（与relu函数对比）。

tf.nn.sigmoid(x, name=None)

tf.nn.tanh(x, name=None)

tf.nn.relu(features, name=None)
tf.nn.relu6(features, name=None)
#relu6相对于普通relu更容易学习到稀疏特征。

tf.nn.softplus(features, name=None)

关于“常见tensorflow激活函数种类及其图像是什么”就介绍到这了，如果大家觉得不错可以参考了解看看，如果想要了解更多，欢迎关注群英网络，小编每天都会为大家更新不同的知识。

标签： tensorflow

免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：mmqy2019@163.com进行举报，并提供相关证据，查实之后，将立刻删除涉嫌侵权内容。

上一篇：python进程、线程和协程的相关概念和知识有什么下一篇：opencv骨架提取算法步骤是什么，代码实现是怎样