训练多个独立模型,在测试阶段平均其预测结果,是一种有效的提高检测精度的方法,称为模型集成(model ensemble

阅读全文 »

神经网络/卷积神经网络中存在很多的超参数,并且随着优化技术的发展,越来越多的超参数被加入进来,最常见的超参数包括:

  1. 初始学习率
  2. 学习率衰减机制(比如衰减常数)
  3. 正则化策略(L2惩罚,随机失活强度)

大多数超参数在训练过程中相对固定,比如动量大小,衰减常数等,cs231n提出一些学习技巧来帮助搜索最佳的超参数值

阅读全文 »

通过数值梯度(numerical gradient)和解析梯度(analytic gradient)的比较进行梯度检查,这个过程有助于得到更准确的网络

学习Gradient checks中提到的技巧和注意事项

阅读全文 »

单元测试(unit testing,简称UT)是用于测试源代码不同单元的软件测试方法, 能够有效提高代码质量和可维护性

阅读全文 »

在分类问题上经常会遇到一个名词 - 决策边界。对它有一些了解但是没有很多的认识,同时很难直观去理解高维数据分类问题的决策边界

理清决策边界的概念,同时可视化决策边界

阅读全文 »