大海

主成分分析

发表于 2019-06-04 更新于 2025-12-16 分类于技术教程，知识管理，基础教程，概念辨析本文字数： 2.4k 阅读时长 ≈ 9 分钟

主成分分析（princial component analysis，简称PCA）是一种无监督的数据降维操作，它通过最大化方差方法来寻找低维空间，能够有效减轻计算量的同时保证处理数据有效性

主要参考文章PCA数学原理，里面做了生动的数学原理分析

发表于 2019-06-03 更新于 2025-12-16 分类于技术教程，知识管理，基础教程，概念辨析本文字数： 2.1k 阅读时长 ≈ 8 分钟

小结PCA求解过程中相关的线性代数基础（部分几何内容+概率论内容）

发表于 2019-06-03 更新于 2025-12-16 分类于技术教程，知识管理，基础教程，概念辨析本文字数： 391 阅读时长 ≈ 1 分钟

参考PCA数学原理，小结PCA求解过程中相关的概率论基础

发表于 2019-05-31 更新于 2025-12-16 分类于技术教程，知识管理，基础教程，概念辨析本文字数： 621 阅读时长 ≈ 2 分钟

Nesterov加速梯度（Nesterov's Accelerated Gradient，简称NAG）是梯度下降的一种优化方法，其收敛速度比动量更新方法更快，收敛曲线更加稳定

发表于 2019-05-29 更新于 2025-12-16 分类于技术教程，知识管理，基础教程，概念辨析本文字数： 2k 阅读时长 ≈ 7 分钟

动量（momentum）更新是梯度下降的一种优化方法，它能够加快损失函数收敛速度（converge rate）

发表于 2019-05-29 更新于 2025-12-16 分类于技术教程，知识管理，基础教程，概念辨析本文字数： 1.6k 阅读时长 ≈ 6 分钟

在标准随机梯度下降过程中，每次更新使用固定学习率（learning rate），迭代一定次数后损失值不再下降，一种解释是因为权重在最优点周围打转，如果能够在迭代过程中减小学习率，就能够更加接近最优点，实现更高的检测精度

学习率退火（annealing the learning rate）属于优化策略的一种，有3种方式实现学习率随时间下降

下面介绍这3种学习率退火实现，然后用numpy编程进行验证

发表于 2019-05-28 更新于 2025-12-16 分类于技术教程，项目实践，基础教程，算法复现本文字数： 418 阅读时长 ≈ 2 分钟

发表于 2019-05-27 更新于 2025-12-16 分类于技术教程，项目实践，基础教程，算法复现本文字数： 1.4k 阅读时长 ≈ 5 分钟

使用numpy实现LeNet-5网络，参考toxtli/lenet-5-mnist-from-scratch-numpy模块化网络层

完整代码：zjZSTU/PyNet

发表于 2019-05-26 更新于 2025-12-16 分类于技术教程，知识管理，项目实践，基础教程，概念辨析，算法复现本文字数： 449 阅读时长 ≈ 2 分钟

前面实现了卷积层和全连接层的相互转换，下面实现池化层和全连接层的相互转换

发表于 2019-05-25 更新于 2025-12-16 分类于技术教程，评估报告，知识管理，源码解析，性能测试，概念辨析本文字数： 450 阅读时长 ≈ 2 分钟

之前实现了一个图像和行向量相互转换的函数，逐图像进行局部连接矩阵的转换

其实现原理较下标计算更易理解，通过循环，逐个图像对局部连接矩阵进行切片操作，得到矩阵后拉平为向量，以行向量方式进行保存

反向转换图像可以设置标志位isstinct，是否返回叠加图像还是原图，其实现原理是在指定位置赋值过程中是执行累加还是执行覆盖