逻辑回归分类器
参考线性SVM分类器实现逻辑回归分类器,并进行决策边界可视化
最近重温cs231n
课程,完成了课堂作业assignment1,记录一下线性SVM
分类器相关的概念以及实现
最近重温cs231n
课程,完成了课堂作业assignment1,记录一下KNN
分类器相关的概念以及实现,包括通用的分类器训练及测试过程
AdaGrad、RMSProp
以及Adam
都是逐元素的自适应学习率方法(per-parameter adaptive learning rate methods
),根据每个神经元的梯度变化进行权重调整,能够有效的提高模型精度
文章very deep convolutional networks for large-scale image recognition对卷积网络深度进行了详细研究,证明了增加模型深度能够有效提高网络性能,其实现的VGGNet
在2014
年ImageNet
的定位(localisation
)和分类(classification
)比赛中获得第一和第二名
VGGNet
在AlexNet模型配置和学习的基础上,参考ZFNet使用更小的感受野和更小的步长,参考OverFeat在整个图像和多个尺度上对网络进行密集的训练和测试。最终,VGGNet
使用\(3\times 3\)大小卷积核进行模型深度的研究,在学习过程中使用多尺度图像进行训练和测试
主要内容如下:
文章Network In Network提出一种新的深度网络结构mlpconv
,使用微神经网络(micro neural network
)代替传统卷积层的线性滤波器,同时利用全局平均池化(global average pooling
)代替全连接层作为分类器,在当时的CIFAR-10
和CIFAR-100
上实现了最好的检测结果
文章Visualizing and Understanding Convolutional Networks提出一种可视化方法来观察中间层特征,以此发现不同模型层的性能分布,调整AlexNet
参数的得到的ZFNet
模型在ImageNet
上得到了更好的分类性能;通过预训练ImageNet
模型测试发现预训练大数据库能够提高模型的泛化能力
使用pytorch
实现AlexNet
,并进行cifar-10
训练和测试