这篇文章主要讲解了“常见tensorflow激活函数种类及其图像是什么”，文中的讲解内容简单、清晰、详细，对大家学习或是工作可能会有一定的帮助，希望大家阅读完这篇文章能有所收获。下面就请大家跟着小编的思路一起来学习一下吧。

激活函数在机器学习中常常用在神经网络隐含层节点与神经网络的输出层节点上，激活函数的作用是赋予神经网络更多的非线性因素，如果不用激励函数，输出都是输入的线性组合，这种情况与最原始的感知机相当，网络的逼近能力相当有限。如果能够引入恰当的非线性函数作为激活函数，这样神经网络逼近能力就能够更加强大。

哦豁，激活函数那么厉害，那常见的激活函数有什么呢？感觉还挺多的。

常见的激活函数种类及其图像

1 sigmoid(logsig)函数

特点：sigmoid函数函数在不同的地方表达方式不同，常用的名称就是sigmoid和logsig，它能够把输入的连续实值变换为0和1之间的输出，如果输入是特别大的负数，则输出为0，如果输入是特别大的正数，则输出为1。

缺点：

• 在深度神经网络中，容易导致梯度爆炸和梯度消失；
• 幂函数运算较慢；
• 不是0均值。

其计算公式为：

其图像如下所示。

2 tanh函数

特点：它能够把输入的连续实值变换为-1和1之间的输出，如果输入是特别大的负数，则输出为-1，如果输入是特别大的正数，则输出为1；

解决了Sigmoid函数的不是0均值的问题。

缺点：梯度消失的问题和幂运算的问题仍然存在。

其计算公式为：

其图像如下所示。

3 relu函数

特点：解决了梯度消失的问题；计算速度非常快，只需要判断输入是否大于0；

收敛速度远快于sigmoid和tanh两个函数。

缺点：不是0均值。

其计算公式为：

其图像如下所示

4 softplus函数

特点：softplus函数相当于平滑版的relu函数。

缺点：不是0均值。

其计算公式为：

其图像如下所示（与relu函数对比）。

tensorflow中损失函数的表达

1 sigmoid(logsig)函数

tf.nn.sigmoid(x, name=None)

2 tanh函数

tf.nn.tanh(x, name=None)

3 relu函数

tf.nn.relu(features, name=None)
tf.nn.relu6(features, name=None)
#relu6相对于普通relu更容易学习到稀疏特征。

4 softplus函数

tf.nn.softplus(features, name=None)

关于“常见tensorflow激活函数种类及其图像是什么”就介绍到这了，如果大家觉得不错可以参考了解看看，如果想要了解更多，欢迎关注群英网络，小编每天都会为大家更新不同的知识。

免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：mmqy2019@163.com进行举报，并提供相关证据，查实之后，将立刻删除涉嫌侵权内容。

猜你喜欢

• Python构造方法和析构方法怎样使用

  这篇文章主要为大家详细介绍了Python的构造方法和析构方法，使用Python编程基础，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下

• Django url反向解析的定义是什么，使用方式是怎样

  本文主要介绍了Django url反向解析的实现，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下

• 用Python读取多个sheet文件的代码是什么

  这篇文章主要介绍了使用Python读写多个sheet文件，本文即介绍多个sheet文件的读入及处理数据后写出到新excel文件的操作过程，可以提高大家工作效率，需要的小伙伴可以参考一下

• Python语言的优点有哪些，常见用途有什么

  这篇文章主要介绍了python语言的优势是什么，从各个方面做了分析，需要的朋友们可以参考下

• 相同的Dataframe中如何找出不相同的元素

  本文主要介绍了Python datacompy 找出两个DataFrames不同的地方，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧<BR>