大海

文章Network In Network提出一种新的深度网络结构mlpconv，使用微神经网络（micro neural network）代替传统卷积层的线性滤波器，同时利用全局平均池化（global average pooling）代替全连接层作为分类器，在当时的CIFAR-10和CIFAR-100上实现了最好的检测结果

文章Visualizing and Understanding Convolutional Networks提出一种可视化方法来观察中间层特征，以此发现不同模型层的性能分布，调整AlexNet参数的得到的ZFNet模型在ImageNet上得到了更好的分类性能；通过预训练ImageNet模型测试发现预训练大数据库能够提高模型的泛化能力

使用pytorch实现AlexNet，并进行cifar-10训练和测试

AlexNet在ImageNet LSVRC-2010的1000类分类比赛上实现了37.5% top-1和17.0% top-5的最小误差率，在LSVRC-2012上实现了15.3% top-5的最小误差率，这些数据是当时最好的识别结果，其实现代码也在google code上公开：cuda-convnet

本文学习AlexNet网络结构及其训练方法

pytorch提供了多种失活函数实现

1. torch.nn.Dropout
2. torch.nn.Dropout2d
3. torch.nn.Dropout3d
4. torch.nn.AlphaDropout

下面首先介绍Dropout和Dropout2d的使用，然后通过LeNet-5模型进行cifar-10的训练

使用前馈神经网络进行检测，测试集的检测率总是低于训练集，尤其是训练集数量不大的情况下，原因在于神经网络在训练过程中不断调整参数以拟合训练数据，在此过程中也学习了训练集噪声，导致泛化能力减弱

随时失活（dropout）是一种正则化方法，其动机来自于进化中的性别作用理论（a theory of the role of sex in evolution），它通过训练多个不同网络模型，模拟模型组合的方式来提高网络性能，防止网络过拟合

主要内容如下：

1. 基础知识 - 伯努利分布/均匀分布
2. 实现原理
3. 模型描述及改进
4. 3层神经网络测试

主成分分析（princial component analysis，简称PCA）是一种无监督的数据降维操作，它通过最大化方差方法来寻找低维空间，能够有效减轻计算量的同时保证处理数据有效性

主要参考文章PCA数学原理，里面做了生动的数学原理分析

小结PCA求解过程中相关的线性代数基础（部分几何内容+概率论内容）

• 内积
• 投影
• 向量的线性相关/线性无关
• 向量空间的基
• 线性变换和线性映射
• 矩阵降维
• 特征值和特征向量
• 正交向量组和正交矩阵
• 实对称矩阵

参考PCA数学原理，小结PCA求解过程中相关的概率论基础

Nesterov加速梯度（Nesterov's Accelerated Gradient，简称NAG）是梯度下降的一种优化方法，其收敛速度比动量更新方法更快，收敛曲线更加稳定