0%

损失函数与代价函数

在机器学习领域,线性回归模型以其简洁性而著称,它通过一条直线来拟合数据点,如下面的图表所示:

上面这张图还可以用下面的数学公式表示:

[ y = \mathbf{w}^T \cdot \mathbf{x} + b ]

其中 ( \mathbf{w} ) 表示权重向量,( b ) 是偏置项。

线性回归广泛用于预测连续数值,如房价、气温、销售额等。此外,通过引入激活函数,线性回归模型也能够解决二元分类问题。激活函数,如sigmoid函数,可以将线性回归的输出转换为概率值,非常适合用来处理分类问题。

例如,判断一张图像中是否包含猫,这是一个典型的二元分类问题。为了将线性回归应用于二元分类,我们需要执行一个关键步骤:将线性回归的输出映射到区间 [0,1] 内。在这个映射中,( y=1 ) 表示图像中存在猫,而 ( y=0 ) 表示没有猫。这将问题转化为一个概率估计问题,可以表示为 ( \hat{y} = P(y=1 \mid \mathbf{x}) )。

实现这种映射的关键是一个数学函数:sigmoid函数 ( \sigma(f) ),其定义为:

[ \sigma(f) = \frac{1}{1 + e^{-f}} ]

在这个函数中,( e ) 是自然对数的底数,( f ) 是线性回归的输出值。当 ( f ) 是一个非常大的正数时,( e^{-f} ) 趋近于 0,导致 ( \sigma(f) ) 的值接近于 1;反之,如果 ( f ) 是一个非常大的负数,( e^{-f} ) 会变得非常大,使得 ( \sigma(f) ) 的值接近于 0。这种函数的图形如下所示:

推而广之,通过将多个激活函数与线性回归模型结合,我们可以得到一个多层感知机(Multilayer Perceptron, MLP),它能够解决更为复杂的非线性问题,如图像分类、物体检测、语音识别等。

欢迎关注我的其它发布渠道