TensorFlow自动求导原理是什么,具体怎么实现
Admin 2022-06-28 群英技术资讯 539 次浏览
TensorFlow使用的求导方法称为自动微分(Automatic Differentiation),它既不是符号求导也不是数值求导,而类似于将两者结合的产物。
最基本的原理就是链式法则,关键思想是在基本操作(op)的水平上应用符号求导,并保持中间结果(grad)。
基本操作的符号求导定义在\tensorflow\python\ops\math_grad.py文件中,这个文件中的所有函数都用RegisterGradient装饰器包装了起来,这些函数都接受两个参数op和grad,参数op是操作,第二个参数是grad是之前的梯度。
举个例子:
补充:聊聊Tensorflow自动求导机制
在即时执行模式下,Tensorflow引入tf.GradientTape()这个“求导记录器”来实现自动求导。
import tensorflow as tf #定义变量 x = tf.Variable(initial_value = 3.) #在tf.GradientTape()的上下文内,所有计算步骤都会被记录以用于求导 with tf.GradientTape() as tape: #y = x^2 y = tf.square(x) #计算y关于x的导数(斜率,梯度) y_grad = tape.gradient(y,x) print([y,y_grad])
输出:
[<tf.Tensor: shape=(), dtype=float32, numpy=9.0>, <tf.Tensor: shape=(), dtype=float32, numpy=6.0>]
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:mmqy2019@163.com进行举报,并提供相关证据,查实之后,将立刻删除涉嫌侵权内容。
猜你喜欢
这篇文章主要介绍了解决python3 json数据包含中文的读写问题,需要的朋友可以参考下
在实际的应用中,有些需求需要我们读取并显示图片,对此这篇文章就给大家分享用python实现读取图片并显示的3种方式,下文有具体的示例,感兴趣的朋友就继续往下看吧。
这篇文章主要为大家介绍了Python进行密码学反向密码的教程详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
json操作是最为基本的、最为常用的,Python自带的json模块就可以满足大部分应用场景,而且使用起来极为简单,下面这篇文章主要给大家介绍了关于Python中json操作的相关资料,需要的朋友可以参考下
在编程中,我们常常会给代码加密。如果是进行特制移位加密,此时就应把字符换成ascll码。本文小编向大家介绍python中字符与ascll码相互转换的方法,即字符转化成ascll码使用ord函数,ascll码转化成字符使用chr函数。
成为群英会员,开启智能安全云计算之旅
立即注册Copyright © QY Network Company Ltd. All Rights Reserved. 2003-2020 群英 版权所有
增值电信经营许可证 : B1.B2-20140078 粤ICP备09006778号 域名注册商资质 粤 D3.1-20240008