大海

神经网络的反向传播可以通过对损失函数进行微分得到各层权重矩阵的梯度

其中对损失函数求梯度是实值标量函数一阶微分，其中关键的部分是得到Jacobian矩阵，从而转置获取梯度矩阵

在pytorch的autograd包中，利用Jacobian（雅格比）矩阵进行梯度的计算。学习实值标量函数、实值向量函数和实值矩阵函数相对于实向量变元或矩阵变元的偏导

小结矩阵求解过程中的基础知识

• 标量、向量和矩阵
• 矩阵乘法/积
• 转置、共扼、共扼转置
• 矩阵的迹
• 向量化和矩阵化

最近推导神经网络的前向传播和反向传播过程，经常会遇到有关导数、微分和梯度的内容，对它们的概念进行一次小结

• 导数
• 微分
• 偏导数
• 全微分
• 方向导数
• 梯度

输入批量数据到神经网络，进行前向传播和反向传播的推导

输入单个数据到神经网络，进行前向传播和反向传播的推导

介绍激活函数及其特性

• Sigmoid
• Tanh
• ReLU
• Leaky ReLU
• Maxout

神经网络是卷积神经网络的基础，其包含的层架构、激活函数、反向传播、正则化等等内容都可以应用于卷积神经网络

MNIST是手写数字数据库，共有60000张训练图像和10000张测试图像，分别表示数字0-9

利用softmax回归模型进行mnist分类

使用pytorch实现softmax回归，首先使用基本数学运算函数实现，然后逐步使用各种封装函数和优化包进行替换

超参数如下：

• batch_size = 8
• lambda = 2e-4
• alpha = 2e-4

使用数据库

• Iris Species