大海

介绍激活函数及其特性

• Sigmoid
• Tanh
• ReLU
• Leaky ReLU
• Maxout

神经网络是卷积神经网络的基础，其包含的层架构、激活函数、反向传播、正则化等等内容都可以应用于卷积神经网络

MNIST是手写数字数据库，共有60000张训练图像和10000张测试图像，分别表示数字0-9

利用softmax回归模型进行mnist分类

使用pytorch实现softmax回归，首先使用基本数学运算函数实现，然后逐步使用各种封装函数和优化包进行替换

超参数如下：

• batch_size = 8
• lambda = 2e-4
• alpha = 2e-4

使用数据库

• Iris Species

在机器学习和深度学习中，通常需要把目标函数设置或者假定为凸函数（Convex Function），这样能够满足局部最小值就是全局最小值的特点，方便进行梯度计算

在数据处理过程中经常使用函数式命令，确实能够方便和快捷的实现功能，下面小结一下python实现函数式编程

python提供了lambda、map、filter、reduce和sorted等基础函数进行函数式编程

softmax回归常用于多分类问题，其输出可直接看成对类别的预测概率

假设对k类标签（[1, 2, ..., k]）进行分类，那么经过softmax回归计算后，输出一个k维向量，向量中每个值都代表对一个类别的预测概率

下面先以单个输入数据为例，进行评分函数、损失函数的计算和求导，然后扩展到多个输入数据同步计算

成绩函数（score function）、目标函数（objective function）、代价函数（cost function）和损失函数（loss function）这四个术语经常出现在机器学习和深度学习的各类算法中

什么是正则化

逻辑回归常用于二元分类任务，其使用交叉熵损失进行梯度计算，实现步骤如下：

1. 加载、打乱、标准化训练和测试数据
2. 设计分类器、损失函数和梯度更新函数
3. 用训练数据计算目标函数和精度
4. 用训练数据计算损失函数和梯度，并更新梯度
5. 重复3-4步，直到精度达到要求或达到指定迭代次数
6. 用测试数据计算目标函数和精度

使用numpy和pytorch分别实现小批量梯度下降的2分类逻辑回归