梯度
-
with torch.no_grad() 和 @torch.no_grad()
Pytorch中with torch.no_grad()或@torch.no_grad() 用法 https://www.cnblogs.com/douzujun/p/133641…
-
动手实现深度学习(4): 神经网络的backward实现
传送门： https://www.cnblogs.com/greentomlee/p/12314064.html github: https://github.com/Leezhe…
-
深度学习基础课： “判断性别”Demo需求分析和初步设计（下1）
大家好~我开设了“深度学习基础班”的线上课程，带领同学从0开始学习全连接和卷积神经网络，进行数学推导，并且实现可以运行的Demo程序 线上课程资料：本节课录像回放加QQ群，获得pp…
-
为什么Adam 不是默认的优化算法?
由于训练时间短，越来越多人使用自适应梯度方法来训练他们的模型，例如Adam它已经成为许多深度学习框架的默认的优化算法。尽管训练结果优越，但Adam和其他自适应优化方法与随机梯度下降…
-
梯度消失和梯度爆炸
目录 0.问题确认 0.0 梯度消失 0.1 梯度爆炸 1.梯度消失 0.问题确认 0.0 梯度消失 异常：RuntimeError: stack expects a non-em…
-
神经网络优化：RMSprop（均方根传播梯度下降法）
最终目的仍是减少振荡方向(b)的更新幅度，提高前进方向(ω)的更新幅度 引入Sdω和Sdb，如公式表达，由于dω<db，求其均方根作为分母，实现ω的更新幅度大，而b的更新幅度…
-
李宏毅机器学习-回归
task2 回归 找到一个Function，通过这个Function预测出一个数值，如根据股票走势预测明天的股票情况，根据宝可梦的属性预测它的CP值 2.1 线性模型： input…