1.逻辑回归

逻辑回归是一种用于解决二分类任务（如预测是否是猫咪等）的统计学习方法。尽管名称中包含“回归”，但其本质是通过线性回归的变体输出概率值，并使用Sigmoid函数将线性结果映射到[0,1]区间。

以猫咪预测为例

假设单个样本/单张图片为（$\mathbf{x}$，$\mathbf{y}$），特征向量X =$\mathbf{x}$，则$\hat{y}$即为X的预测值，$\hat{y}$=P（y=$\mathbf{y}$/$\mathbf{x}$）,$\hat{y}$∈（0,1）。
假设特征权重参数为$\mathbf{w}$，是一个n_x维的向量，则有：
$\hat{y}$= $\sigma$（ $w^{\top }$$x$+$b$）
$z$ = $w^{\top }$$x$+$b$
$\hat{y}$=$\sigma （z）$

2. Sigmoid函数

Sigmoid函数是一种常用的S型激活函数，数学表达式为：
$$\sigma (z)=\frac{1}{1+e^{-z}}$$

机器学习便是学习参数$x$和$b$，使得$\hat{y}$尽可能接近实际值$y$。

符号惯例介绍

定义一个额外特征向量$x_0$ =1，
$\hat{y}$=$\sigma$(${\theta }^T$$x$ )，其中${\theta }_0$充当$b$，其余${\theta }_1$到 ${\theta }_{nx}$充当$\mathbf{w}$

核心特性

1. 输出范围：$ (0,1) $，适合概率映射
2. 单调性：全程可导且导数最大值为$ 0.25 $（出现在$x=0$处）
3. 导数特性：${\sigma }^{\prime }(x)=\sigma (x)(1-\sigma (x))$，便于梯度计算

Python实现

import numpy as np

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

# 支持向量化计算
print(sigmoid(np.array([-1.0, 0.0, 1.0])))  # 输出：[0.2689, 0.5, 0.7311]

典型应用

1. 逻辑回归中的概率转换
2. 神经网络隐藏层的激活函数
3. 强化学习中的动作选择概率

局限说明

• 深层网络易出现梯度消失（导数值随网络深度指数衰减）
• 输出不以零为中心可能影响优化效率
• 现多被ReLU系列函数替代用于隐藏层