Jacobian矩阵和梯度矩阵
在pytorch的autograd包中，利用Jacobian（雅格比）矩阵进行梯度的计算。学习实值标量函数、实值向量函数和实值矩阵函数相对于实向量变元或矩阵变元的偏导
矩阵基础
本文字数： 6.8k 阅读时长 ≈ 12 分钟
导数、微分和梯度
本文字数： 5.7k 阅读时长 ≈ 10 分钟
神经网络推导-批量数据
本文字数： 24k 阅读时长 ≈ 44 分钟
输入批量数据到神经网络，进行前向传播和反向传播的推导
神经网络推导-单个数据
本文字数： 17k 阅读时长 ≈ 31 分钟
输入单个数据到神经网络，进行前向传播和反向传播的推导
激活函数
本文字数： 2.4k 阅读时长 ≈ 4 分钟
神经网络概述
本文字数： 2.8k 阅读时长 ≈ 5 分钟
神经网络是卷积神经网络的基础，其包含的层架构、激活函数、反向传播、正则化等等内容都可以应用于卷积神经网络
使用softmax回归进行mnist分类
本文字数： 16k 阅读时长 ≈ 30 分钟
从numpy到pytorch实现softmax回归
本文字数： 16k 阅读时长 ≈ 30 分钟
使用pytorch实现softmax回归，首先使用基本数学运算函数实现，然后逐步使用各种封装函数和优化包进行替换
超参数如下：
- batch_size = 8
- lambda = 2e-4
- alpha = 2e-4
使用数据库
凸函数
本文字数： 1.3k 阅读时长 ≈ 2 分钟
在机器学习和深度学习中，通常需要把目标函数设置或者假定为凸函数（Convex Function），这样能够满足局部最小值就是全局最小值的特点，方便进行梯度计算