大海

SIMPLE THE COMPLEX

发表于 更新于 分类于
本文字数： 24k 阅读时长 ≈ 44 分钟

使用numpy实现神经网络模型

  • 使用单层神经网络OneNet实现逻辑或、逻辑与和逻辑非分类
  • 使用2层神经网络TwoNet实现逻辑异或分类
  • 使用3层神经网络ThreeNet实现iris数据集和mnist数据集分类
阅读全文 »

发表于 更新于 分类于
本文字数： 14k 阅读时长 ≈ 25 分钟

为了理清如何进行神经网络的前向传播和反向传播的推导，找了很多资料，前向传播比较简单，重点在于如何进行反向传播的梯度计算

cs231n课程推荐的计算方式是先进行单个元素求导，再逐步泛化到批量数据求梯度，参考

阅读全文 »

发表于 更新于 分类于
本文字数： 2.2k 阅读时长 ≈ 4 分钟

神经网络的反向传播可以通过对损失函数进行微分得到各层权重矩阵的梯度

其中对损失函数求梯度是实值标量函数一阶微分，其中关键的部分是得到Jacobian矩阵，从而转置获取梯度矩阵

阅读全文 »

发表于 更新于 分类于
本文字数： 8.9k 阅读时长 ≈ 16 分钟

在pytorch的autograd包中，利用Jacobian（雅格比）矩阵进行梯度的计算。学习实值标量函数、实值向量函数和实值矩阵函数相对于实向量变元或矩阵变元的偏导

阅读全文 »

发表于 更新于 分类于
本文字数： 6.8k 阅读时长 ≈ 12 分钟

小结矩阵求解过程中的基础知识

  • 标量、向量和矩阵
  • 矩阵乘法/积
  • 转置、共扼、共扼转置
  • 矩阵的迹
  • 向量化和矩阵化
阅读全文 »

发表于 更新于 分类于
本文字数： 5.7k 阅读时长 ≈ 10 分钟

最近推导神经网络的前向传播和反向传播过程，经常会遇到有关导数、微分和梯度的内容，对它们的概念进行一次小结

  • 导数
  • 微分
  • 偏导数
  • 全微分
  • 方向导数
  • 梯度
阅读全文 »