使用Matplotlib绘制三种常见激活函数曲线

2026年1月8日 互联网

使用Matplotlib绘制三种常见激活函数曲线

在机器学习与深度学习领域，激活函数是神经网络模型的核心组件之一，直接影响模型的非线性建模能力。本文将通过Matplotlib库实现三种经典激活函数的可视化绘制，包括Sigmoid、Tanh和ReLU函数，从数学公式推导到代码实现进行完整解析。

一、激活函数基础概念

激活函数的主要作用是为神经网络引入非线性因素，使模型能够学习复杂的输入输出映射关系。理想激活函数应具备以下特性：

  1. 非线性特性：突破线性模型的表达能力限制
  2. 连续可导：便于梯度下降算法优化
  3. 输出范围控制：防止梯度爆炸或消失
  4. 计算效率：满足大规模数据训练需求

不同激活函数在这些特性上存在权衡，理解其数学特性对模型设计至关重要。

二、Sigmoid函数实现与可视化

数学定义

Sigmoid函数（又称Logistic函数）将输入映射到(0,1)区间，公式为：

  1. σ(x) = 1 / (1 + e^(-x))

代码实现

  1. import numpy as np
  2. import matplotlib.pyplot as plt
  4. def sigmoid(x):
  5.     return 1 / (1 + np.exp(-x))
  7. x = np.linspace(-10, 10, 500)
  8. y = sigmoid(x)
  10. plt.figure(figsize=(8, 6))
  11. plt.plot(x, y, label='Sigmoid', color='blue')
  12. plt.title('Sigmoid Activation Function')
  13. plt.xlabel('Input')
  14. plt.ylabel('Output')
  15. plt.grid(True)
  16. plt.legend()
  17. plt.show()

特性分析

  • 输出范围：(0,1)
  • 饱和区：当|x|>5时梯度接近0
  • 中心对称点：x=0时y=0.5
  • 典型应用：二分类问题的输出层

可视化优化技巧

  1. 添加水平参考线：plt.axhline(y=0.5, color='r', linestyle='--')
  2. 突出显示饱和区：用半透明填充表示梯度消失区域
  3. 坐标轴范围控制：plt.xlim(-8, 8)避免极端值影响显示

三、Tanh函数实现与对比

数学定义

双曲正切函数将输入映射到(-1,1)区间，公式为：

  1. tanh(x) = (e^x - e^(-x)) / (e^x + e^(-x))

代码实现

  1. def tanh(x):
  2.     return np.tanh(x)  # 或手动实现 (np.exp(x) - np.exp(-x)) / (np.exp(x) + np.exp(-x))
  4. y_tanh = tanh(x)
  6. plt.figure(figsize=(8, 6))
  7. plt.plot(x, y, label='Sigmoid', color='blue')
  8. plt.plot(x, y_tanh, label='Tanh', color='green')
  9. plt.title('Sigmoid vs Tanh Functions')
  10. plt.xlabel('Input')
  11. plt.ylabel('Output')
  12. plt.grid(True)
  13. plt.legend()
  14. plt.show()

特性对比

特性 Sigmoid Tanh
输出范围 (0,1) (-1,1)
零点输出 0.5 0
梯度强度 较弱 较强
饱和问题 存在 存在但缓解

高级可视化技巧

  1. 双子图对比：

    1. fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(12, 5))
    2. ax1.plot(x, y, color='blue')
    3. ax1.set_title('Sigmoid')
    4. ax2.plot(x, y_tanh, color='green')
    5. ax2.set_title('Tanh')

  2. 梯度可视化：
    ```python
    def sigmoid_derivative(x):
    s = sigmoid(x)
    return s * (1 - s)

plt.plot(x, sigmoid_derivative(x), label=’Sigmoid Gradient’)

  2. ## 四、ReLU函数实现与特性
  4. ### 数学定义
  5. 修正线性单元(ReLU)是当前最常用的激活函数，公式为：

ReLU(x) = max(0, x)

  2. ### 代码实现
  3. ```python
  4. def relu(x):
  5.     return np.maximum(0, x)
  7. y_relu = relu(x)
  9. plt.figure(figsize=(8, 6))
  10. plt.plot(x, y_relu, label='ReLU', color='red')
  11. plt.title('ReLU Activation Function')
  12. plt.xlabel('Input')
  13. plt.ylabel('Output')
  14. plt.grid(True)
  15. plt.legend()
  16. plt.show()

特性分析

  • 计算高效：仅需比较操作
  • 梯度特性：
    • x>0时梯度恒为1
    • x<0时梯度恒为0（神经元死亡问题）
  • 输出范围：[0, +∞)
  • 典型应用：隐藏层默认选择

变种函数实现

  1. LeakyReLU：

    1. def leaky_relu(x, alpha=0.1):
    2.  return np.where(x > 0, x, alpha * x)

  2. Parametric ReLU：

    1. def prelu(x, alpha=0.25):
    2.  return np.where(x > 0, x, alpha * x)  # alpha为可学习参数

五、多函数对比可视化

综合绘图实现

  1. plt.figure(figsize=(10, 7))
  2. plt.plot(x, sigmoid(x), label='Sigmoid', linewidth=2)
  3. plt.plot(x, tanh(x), label='Tanh', linewidth=2)
  4. plt.plot(x, relu(x), label='ReLU', linewidth=2)
  5. plt.plot(x, leaky_relu(x), '--', label='LeakyReLU', linewidth=2)
  7. plt.title('Comparison of Activation Functions', fontsize=14)
  8. plt.xlabel('Input Value', fontsize=12)
  9. plt.ylabel('Output Value', fontsize=12)
  10. plt.grid(True, linestyle='--', alpha=0.6)
  11. plt.legend(fontsize=10)
  12. plt.axhline(0, color='black', linewidth=0.5)
  13. plt.axvline(0, color='black', linewidth=0.5)
  14. plt.xlim(-5, 5)
  15. plt.ylim(-1.5, 1.5)
  16. plt.show()

可视化设计原则

  1. 统一坐标范围：确保函数间可比性
  2. 线型区分：实线/虚线区分主函数与变种
  3. 关键点标注： 
    1. plt.annotate('Saturation Point', xy=(-5, sigmoid(-5)), 
    2.           xytext=(-7, 0.05), arrowprops=dict(facecolor='black'))
  4. 颜色方案：使用感知均匀的色板（如viridis）

六、应用场景与选择建议

选择依据矩阵

场景 推荐函数 理由
二分类输出层 Sigmoid 输出概率值
对称数据分布 Tanh 零中心输出
深层网络隐藏层 ReLU/LeakyReLU 缓解梯度消失
稀疏特征处理 ReLU 自动特征选择
死亡神经元问题 LeakyReLU/PReLU 避免负区间完全失活

性能优化建议

  1. 向量化计算：使用NumPy数组操作替代循环
  2. 内存管理：对于超大范围输入，采用分段计算
  3. 缓存机制：对常用区间预计算存储
  4. 并行绘制：使用plt.subplots()创建多图表

七、扩展应用：3D可视化

对于多变量激活函数（如Swish），可采用3D绘图：

  1. from mpl_toolkits.mplot3d import Axes3D
  3. x = np.linspace(-5, 5, 100)
  4. y = np.linspace(-5, 5, 100)
  5. X, Y = np.meshgrid(x, y)
  6. Z = X * sigmoid(Y)  # Swish函数示例
  8. fig = plt.figure(figsize=(12, 8))
  9. ax = fig.add_subplot(111, projection='3d')
  10. ax.plot_surface(X, Y, Z, cmap='viridis')
  11. ax.set_title('3D Visualization of Swish Function')
  12. plt.show()

八、最佳实践总结

  1. 代码复用：封装激活函数类

    1. class ActivationVisualizer:
    2.  def __init__(self, x_range=(-5, 5), points=500):
    3.      self.x = np.linspace(*x_range, points)
    5.  def plot(self, func, label, **kwargs):
    6.      y = func(self.x)
    7.      plt.plot(self.x, y, label=label, **kwargs)
    9.  def show(self, title="Activation Functions"):
    10.      plt.title(title)
    11.      plt.legend()
    12.      plt.grid()
    13.      plt.show()

  2. 交互式可视化：使用Plotly库
    ```python
    import plotly.graph_objects as go

fig = go.Figure()
fig.add_trace(go.Scatter(x=x, y=sigmoid(x), name=’Sigmoid’))
fig.add_trace(go.Scatter(x=x, y=tanh(x), name=’Tanh’))
fig.update_layout(title=’Interactive Plot’)
fig.show()

  2. 3. **性能监控**：添加计算时间标注
  3. ```python
  4. import time
  6. start = time.time()
  7. # 执行计算
  8. elapsed = time.time() - start
  9. plt.text(0.02, 0.95, f"Computation Time: {elapsed:.4f}s", 
  10.          transform=plt.gca().transAxes)

通过系统化的可视化实践，开发者不仅能深入理解不同激活函数的数学特性，更能直观感知它们在实际模型中的行为表现，为神经网络架构设计提供有力支持。

最新文章