凸函数

发表于 更新于 分类于
本文字数： 1.3k 阅读时长 ≈ 2 分钟

在机器学习和深度学习中，通常需要把目标函数设置或者假定为凸函数（Convex Function），这样能够满足局部最小值就是全局最小值的特点，方便进行梯度计算

局部最小值和全局最小值

  • 局部最小值：如果存在一个\(\varepsilon>0\)，使得对于任意满足\(\left|x-x^{*}\right|<\varepsilon\)的\(x\)都有\(f\left(x^{*}\right) \leq f(x)\)，就把点\(x^{*}\)对应的函数值\(f(x^{*})\)成为函数\(f\)的一个局部最小值。从函数图像上看，局部最小值就像是山谷的一个底部

  • 全局最小值：如果\(x^{*}\)对于任意的\(x\)都满足\(f\left(x^{*}\right) \leq f(x)\)，则称\(f(x^{*})\)为函数\(f\)的全局最小值

凸函数定义

凸函数是一个定义在某个向量空间的凸子集\(C\)上的实值函数\(f\)，而且对于凸子集\(C\)中任意两个向量\(x_{1}\)、\(x_{2}\)有\(f\left(\left(x_{1}+x_{2}\right) /2\right) \leq\left(f\left(x_{1}\right)+f\left(x_{2}\right)\right) / 2\)成立

将凸子集改为某个区间\(I\)，定义如下：设\(f\)为定义在区间\(I\)上的函数，若对\(I\)上任意两点\(x_{1}\)、\(x_{2}\)和任意的实数\(\lambda \in(0,1)\)，总有\(f\left(\lambda x_{1}+(1-\lambda) x_{2}\right) \leq \lambda f\left(x_{1}\right)+(1-\lambda) f\left(x_{2}\right)\)，则称\(f\)为\(I\)上的凸函数，若定义中的\(\leq\)改为\(<\)也成立，则称函数\(f\)为对应子集或区间上的严格凸函数

如下图所示

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
from matplotlib.lines import Line2D
import matplotlib.pyplot as plt
import numpy as np

if __name__ == '__main__':
    x = np.linspace(0, 10)
    y = np.power(np.e, x)
    spots = [[2, np.power(np.e, 2)], [9, np.power(np.e, 9)]]
    (line1_xs, line1_ys) = zip(*spots)

    figure, ax = plt.subplots()
    ax.plot(x, y)
    plt.scatter(line1_xs, line1_ys, color='r')
    ax.add_line(Line2D(line1_xs, line1_ys, linewidth=1, color='b'))

    plt.show()

相关阅读