【activation】在机器学习和深度学习中，activation（激活）是一个核心概念，它决定了神经网络中每个神经元是否被“激活”以传递信息。激活函数是神经网络中的关键组件，它们为模型引入非线性，使模型能够学习和表示复杂的模式。
一、激活函数的定义与作用
激活函数是神经网络中对输入信号进行非线性变换的数学函数。它的主要作用包括：
- 引入非线性：如果没有激活函数，神经网络将退化为一个线性模型，无法处理复杂的数据关系。
- 决定神经元输出：根据输入值，激活函数决定神经元是否“激发”，并将其结果传递给下一层。
- 增强模型的表达能力：不同的激活函数可以赋予模型不同的特性，如分类能力、梯度稳定性等。
二、常见的激活函数及其特点
以下是一些常用的激活函数及其优缺点总结：
| 激活函数 | 公式 | 特点 | 优点 | 缺点 |
| Sigmoid | $ \sigma(x) = \frac{1}{1 + e^{-x}} $ | 输出范围在 (0,1) | 适合二分类问题 | 梯度消失，计算成本高 |
| Tanh | $ \tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}} $ | 输出范围在 (-1,1) | 对称性好 | 梯度消失，计算较慢 |
| ReLU | $ \text{ReLU}(x) = \max(0, x) $ | 简单高效 | 计算快，缓解梯度消失 | 有“死亡”问题（负值不激活） |
| Leaky ReLU | $ \text{Leaky ReLU}(x) = \max(0.01x, x) $ | 负值部分也有小斜率 | 解决“死亡”问题 | 参数调整敏感 |
| Softmax | $ \text{Softmax}(x_i) = \frac{e^{x_i}}{\sum_{j} e^{x_j}} $ | 多分类概率分布 | 适合多分类输出 | 只用于输出层 |
三、选择合适的激活函数
选择激活函数时应考虑以下因素：
- 任务类型：二分类、多分类、回归等；
- 网络结构：深层网络可能更适合使用 ReLU 或其变体；
- 数据特征：输入数据的分布会影响激活函数的选择；
- 训练效果：可以通过实验比较不同激活函数的表现。
四、总结
激活函数是神经网络中不可或缺的一部分，它决定了模型的学习能力和表现。了解不同激活函数的特点和适用场景，有助于构建更高效、稳定的深度学习模型。在实际应用中，通常会通过实验来确定最适合当前任务的激活函数组合。
