大海

超参数优化

发表于 2019-08-04 更新于 2026-01-27 分类于算法与模型，经典机器学习方法，模型训练与优化本文字数： 885 阅读时长 ≈ 3 分钟

神经网络/卷积神经网络中存在很多的超参数，并且随着优化技术的发展，越来越多的超参数被加入进来，最常见的超参数包括：

大多数超参数在训练过程中相对固定，比如动量大小，衰减常数等，cs231n提出一些学习技巧来帮助搜索最佳的超参数值

发表于 2019-08-03 更新于 2026-01-27 分类于算法与模型，模型训练与优化，深度神经网络架构本文字数： 1.2k 阅读时长 ≈ 4 分钟

合理的权重初始化操作有助于实现更快的训练和得到更好的结果，cs231n中讨论了不同的初始化权重方式：Weight Initialization

发表于 2019-08-03 更新于 2026-01-27 分类于算法与模型，模型训练与优化，软件工程，测试与可靠性本文字数： 364 阅读时长 ≈ 1 分钟

创建模型，进行数据集训练之前可以进行合理性检查（sanity check），参考Before learning: sanity checks Tips/Tricks，有助于更好的判断模型有效性

cs231n中给出了3个技巧：

发表于 2019-08-01 更新于 2026-01-27 分类于算法与模型，模型训练与优化，软件工程，测试与可靠性本文字数： 1.8k 阅读时长 ≈ 7 分钟

通过数值梯度（numerical gradient）和解析梯度（analytic gradient）的比较进行梯度检查，这个过程有助于得到更准确的网络

学习Gradient checks中提到的技巧和注意事项

发表于 2019-07-31 更新于 2026-01-27 分类于工具与效率，开发与运维，软件工程，开发者工具（CLI/IDE/调试）， CI/CD 与自动化，测试与可靠性本文字数： 807 阅读时长 ≈ 3 分钟

单元测试（unit testing，简称UT）是用于测试源代码不同单元的软件测试方法，能够有效提高代码质量和可维护性

发表于 2019-07-28 更新于 2026-01-27 分类于开发与运维，软件工程， CI/CD 与自动化，测试与可靠性本文字数： 1.2k 阅读时长 ≈ 4 分钟

主要内容：

发表于 2019-07-18 更新于 2026-01-27 分类于算法与模型，经典机器学习方法，深度神经网络架构本文字数： 2.4k 阅读时长 ≈ 9 分钟

在分类问题上经常会遇到一个名词 - 决策边界。对它有一些了解但是没有很多的认识，同时很难直观去理解高维数据分类问题的决策边界

理清决策边界的概念，同时可视化决策边界

发表于 2019-07-17 更新于 2026-01-27 分类于算法与模型，项目复现，软件工程，深度神经网络架构，从零实现核心算法，高质量编码实践本文字数： 1.5k 阅读时长 ≈ 6 分钟

参考线性SVM分类器实现神经网络分类器。cs231n assignment2中实现了自定义层数和数量的神经网络模型，参考其实现完成单个类的神经网络分类器

发表于 2019-07-17 更新于 2026-01-27 分类于算法与模型，项目复现，经典机器学习方法，经典模型复现本文字数： 1.2k 阅读时长 ≈ 4 分钟

模仿线性SVM分类器实现softmax分类器

发表于 2019-07-17 更新于 2026-01-27 分类于算法与模型，项目复现，经典机器学习方法，从零实现核心算法本文字数： 1.2k 阅读时长 ≈ 4 分钟

参考线性SVM分类器实现逻辑回归分类器，并进行决策边界可视化