大海

神经网络推导-矩阵计算

发表于 2019-05-15 更新于 2026-01-27 分类于算法与模型，项目复现，深度神经网络架构，从零实现核心算法本文字数： 3.6k 阅读时长 ≈ 13 分钟

为了理清如何进行神经网络的前向传播和反向传播的推导，找了很多资料，前向传播比较简单，重点在于如何进行反向传播的梯度计算

cs231n课程推荐的计算方式是先进行单个元素求导，再逐步泛化到批量数据求梯度，参考

发表于 2019-05-14 更新于 2026-01-27 分类于算法与模型，模型训练与优化，深度神经网络架构本文字数： 1k 阅读时长 ≈ 4 分钟

神经网络的反向传播可以通过对损失函数进行微分得到各层权重矩阵的梯度

其中对损失函数求梯度是实值标量函数一阶微分，其中关键的部分是得到Jacobian矩阵，从而转置获取梯度矩阵

发表于 2019-05-13 更新于 2026-01-27 本文字数： 2.5k 阅读时长 ≈ 9 分钟

在pytorch的autograd包中，利用Jacobian（雅格比）矩阵进行梯度的计算。学习实值标量函数、实值向量函数和实值矩阵函数相对于实向量变元或矩阵变元的偏导

发表于 2019-05-10 更新于 2026-01-27 本文字数： 2.3k 阅读时长 ≈ 8 分钟

小结矩阵求解过程中的基础知识

发表于 2019-05-08 更新于 2026-01-27 分类于算法与模型，模型训练与优化，深度神经网络架构本文字数： 2.6k 阅读时长 ≈ 9 分钟

最近推导神经网络的前向传播和反向传播过程，经常会遇到有关导数、微分和梯度的内容，对它们的概念进行一次小结

发表于 2019-05-06 更新于 2026-01-27 分类于算法与模型，项目复现，深度神经网络架构，从零实现核心算法本文字数： 6.1k 阅读时长 ≈ 22 分钟

输入批量数据到神经网络，进行前向传播和反向传播的推导

发表于 2019-05-01 更新于 2026-01-27 分类于算法与模型，项目复现，深度神经网络架构，从零实现核心算法本文字数： 5k 阅读时长 ≈ 18 分钟

输入单个数据到神经网络，进行前向传播和反向传播的推导

发表于 2019-04-30 更新于 2026-01-27 分类于算法与模型，深度神经网络架构本文字数： 1k 阅读时长 ≈ 4 分钟

介绍激活函数及其特性

发表于 2019-04-30 更新于 2026-01-27 分类于算法与模型，深度神经网络架构本文字数： 1.6k 阅读时长 ≈ 6 分钟

神经网络是卷积神经网络的基础，其包含的层架构、激活函数、反向传播、正则化等等内容都可以应用于卷积神经网络

发表于 2019-04-28 更新于 2026-01-27 分类于算法与模型，项目复现，经典机器学习方法，经典模型复现本文字数： 2.4k 阅读时长 ≈ 9 分钟

MNIST是手写数字数据库，共有60000张训练图像和10000张测试图像，分别表示数字0-9

利用softmax回归模型进行mnist分类