大海

SIMPLE THE COMPLEX

发表于 更新于 分类于
本文字数： 2k 阅读时长 ≈ 4 分钟

文章Network In Network提出一种新的深度网络结构mlpconv，使用微神经网络（micro neural network）代替传统卷积层的线性滤波器，同时利用全局平均池化（global average pooling）代替全连接层作为分类器，在当时的CIFAR-10和CIFAR-100上实现了最好的检测结果

阅读全文 »

发表于 更新于 分类于
本文字数： 3.9k 阅读时长 ≈ 7 分钟

文章Visualizing and Understanding Convolutional Networks提出一种可视化方法来观察中间层特征，以此发现不同模型层的性能分布，调整AlexNet参数的得到的ZFNet模型在ImageNet上得到了更好的分类性能；通过预训练ImageNet模型测试发现预训练大数据库能够提高模型的泛化能力

阅读全文 »

发表于 更新于 分类于
本文字数： 4k 阅读时长 ≈ 7 分钟

AlexNet在ImageNet LSVRC-2010的1000类分类比赛上实现了37.5% top-1和17.0% top-5的最小误差率，在LSVRC-2012上实现了15.3% top-5的最小误差率，这些数据是当时最好的识别结果，其实现代码也在google code上公开：cuda-convnet

本文学习AlexNet网络结构及其训练方法

阅读全文 »

发表于 更新于 分类于
本文字数： 9.6k 阅读时长 ≈ 17 分钟

使用前馈神经网络进行检测，测试集的检测率总是低于训练集，尤其是训练集数量不大的情况下，原因在于神经网络在训练过程中不断调整参数以拟合训练数据，在此过程中也学习了训练集噪声，导致泛化能力减弱

随时失活（dropout）是一种正则化方法，其动机来自于进化中的性别作用理论（a theory of the role of sex in evolution），它通过训练多个不同网络模型，模拟模型组合的方式来提高网络性能，防止网络过拟合

主要内容如下：

  1. 基础知识 - 伯努利分布/均匀分布
  2. 实现原理
  3. 模型描述及改进
  4. 3层神经网络测试
阅读全文 »

发表于 更新于 分类于
本文字数： 6.4k 阅读时长 ≈ 12 分钟

主成分分析（princial component analysis，简称PCA）是一种无监督的数据降维操作，它通过最大化方差方法来寻找低维空间，能够有效减轻计算量的同时保证处理数据有效性

主要参考文章PCA数学原理，里面做了生动的数学原理分析

阅读全文 »

发表于 更新于 分类于
本文字数： 4.8k 阅读时长 ≈ 9 分钟

小结PCA求解过程中相关的线性代数基础（部分几何内容+概率论内容）

  • 内积
  • 投影
  • 向量的线性相关/线性无关
  • 向量空间的基
  • 线性变换和线性映射
  • 矩阵降维
  • 特征值和特征向量
  • 正交向量组和正交矩阵
  • 实对称矩阵
阅读全文 »