梯度下降

发表于 2019-04-16 更新于 2021-04-14 分类于深度学习/deeplearning

本文字数： 5.5k 阅读时长 ≈ 10 分钟

梯度下降是求解函数最小值的算法，也称为最速下降法，它通过梯度更新不断的逼近最优解

常用的比喻是下山问题，通过计算梯度能够找到函数值变化最快的地方，通过步长决定收敛的速度

梯度下降方法包括批量梯度下降、随机梯度下降和小批量梯度下降，下面通过梯度下降计算多变量线性回归问题

阅读全文 »

标签页测试

发表于 2019-04-15 更新于 2021-04-04 分类于测试/test

本文字数： 555 阅读时长 ≈ 1 分钟

指定标签块名

标签页1

标签页2

标签页3

指定标签块名+起始标签页+标签页名

This is Tab 1.

This is Tab 2.

This is Tab 3.

指定标签块名+起始标签页+FontAwesome符号

This is Tab 1.

This is Tab 2.

This is Tab 3.

子标签块设置

This is Tab 1.

This is Tab 2.

This is Tab 3.

This is Sub Tab 1.

This is Sub Tab 2.

This is Sub Tab 3.

嵌套子标签块设置

This is Tab 1.

This is Tab 2.

This is Tab 3.

This is Sub Tab 1.

This is Sub Tab 2.

This is Sub Tab 3.

This is Sub-Sub Tab 1 of Sub Tab 3.

This is Sub-Sub Tab 2 of Sub Tab 3.

This is Sub-Sub Tab 3 of Sub Tab 3.

正态分布

发表于 2019-04-10 更新于 2021-03-31 分类于数学/math

本文字数： 1k 阅读时长 ≈ 2 分钟

正态分布（normal distribution），也称为常态分布，高斯分布（gaussian distribution），是连续随机变量概率分布的一种，自然界中大量现象符合正态分布，比如身高/体重/成绩/收入/寿命

阅读全文 »

特征缩放

发表于 2019-04-10 更新于 2021-04-14 分类于深度学习/deeplearning

本文字数： 604 阅读时长 ≈ 1 分钟

在多变量回归或分类问题上，需要保证这些变量的取值范围具有同一尺度

原因一：确保大尺度变量不会左右分类器的分类结果。如果分类器利用结果变量的距离来计算损失函数，那么小尺度变量的变化会被忽略，大尺度变量会决定分类效果原因二：帮助梯度下降算法收敛更快。参考机器学习--特征缩放/均值归一化，从损失函数等值线图可知，变量在同一尺度下能够更快的通过梯度下降算法收敛

常用的特征缩放方法包括标准化（或称为规范化）和区间缩放

阅读全文 »