Python数据统计分析：主成分分析与聚类分析深度实践

2026年1月21日 互联网

一、主成分分析：降维技术的核心原理与实践

主成分分析（PCA）是一种通过线性变换将高维数据投影至低维空间的统计方法，其核心目标是在保留数据主要特征的前提下减少变量数量。该方法通过提取方差最大的方向作为主成分，实现数据维度的压缩与信息浓缩。

1.1 PCA的数学基础与实现步骤

PCA的实现可分为四个关键步骤：

  1. 数据标准化：对原始数据进行零均值化处理，消除量纲差异。例如，对包含身高（cm）与体重（kg）的数据集，需将每个特征减去均值并除以标准差。
  2. 协方差矩阵计算：构建特征间的协方差矩阵，反映变量间的线性相关性。协方差矩阵的元素Cov(X,Y)=E[(X-μX)(Y-μY)]，其中μ为均值。
  3. 特征值分解：对协方差矩阵进行特征分解，得到特征值与特征向量。特征值表示该方向上的数据方差，特征向量定义主成分的方向。
  4. 主成分选择：按特征值从大到小排序，选取前k个特征向量构成投影矩阵，将原始数据映射至低维空间。

代码示例：使用NumPy实现PCA

  1. import numpy as np
  3. def pca(X, k):
  4.     # 数据标准化
  5.     X_mean = X - np.mean(X, axis=0)
  6.     # 计算协方差矩阵
  7.     cov_matrix = np.cov(X_mean, rowvar=False)
  8.     # 特征值分解
  9.     eigenvalues, eigenvectors = np.linalg.eig(cov_matrix)
  10.     # 排序并选择前k个特征向量
  11.     idx = np.argsort(eigenvalues)[::-1]
  12.     selected_vectors = eigenvectors[:, idx[:k]]
  13.     # 投影至低维空间
  14.     X_pca = np.dot(X_mean, selected_vectors)
  15.     return X_pca
  17. # 示例：生成三维数据并降维至二维
  18. np.random.seed(42)
  19. X = np.random.normal(size=(100, 3))
  20. X_pca = pca(X, 2)
  21. print("降维后数据形状:", X_pca.shape)

1.2 PCA的应用场景与优势

  • 高维数据可视化：将数百维的文本或图像数据降至2-3维，便于可视化分析。
  • 特征压缩：在图像识别中，PCA可减少像素维度，降低计算复杂度。
  • 噪声过滤：通过保留主要成分，剔除方差较小的噪声维度。
  • 计算效率提升：在机器学习模型训练前使用PCA，可显著减少训练时间。

二、聚类分析：无监督分类的算法与实践

聚类分析是一种通过度量对象相似性进行分组的技术，其核心特点是不依赖预先定义的类别标签。根据对象类型，聚类可分为Q型（样本聚类）与R型（变量聚类）两大类。

2.1 常见聚类算法与实现

K-Means算法：基于距离的经典聚类方法，通过迭代优化簇中心位置实现分类。

  1. from sklearn.cluster import KMeans
  2. import matplotlib.pyplot as plt
  4. # 生成二维数据
  5. np.random.seed(42)
  6. X = np.vstack([
  7.     np.random.normal(loc=(0, 0), scale=0.5, size=(50, 2)),
  8.     np.random.normal(loc=(3, 3), scale=0.5, size=(50, 2))
  9. ])
  11. # K-Means聚类
  12. kmeans = KMeans(n_clusters=2)
  13. kmeans.fit(X)
  14. labels = kmeans.labels_
  16. # 可视化结果
  17. plt.scatter(X[:, 0], X[:, 1], c=labels, cmap='viridis')
  18. plt.scatter(kmeans.cluster_centers_[:, 0], kmeans.cluster_centers_[:, 1], 
  19.             marker='x', s=200, c='red')
  20. plt.title("K-Means聚类结果")
  21. plt.show()

层次聚类：通过构建树状图（Dendrogram）展示数据聚合过程，适用于小规模数据集。

  1. from scipy.cluster.hierarchy import dendrogram, linkage
  3. # 层次聚类
  4. Z = linkage(X, method='ward')
  5. plt.figure(figsize=(10, 5))
  6. dendrogram(Z)
  7. plt.title("层次聚类树状图")
  8. plt.xlabel("样本索引")
  9. plt.ylabel("距离")
  10. plt.show()

2.2 聚类算法的选择依据

  • 数据规模：K-Means适合大规模数据，层次聚类适用于小规模数据。
  • 簇形状：DBSCAN可发现任意形状的簇，而K-Means假设簇为凸形。
  • 噪声处理：DBSCAN通过密度阈值自动剔除离群点。
  • 参数敏感性：K-Means需预先指定簇数，而层次聚类无需此参数。

三、PCA与聚类分析的联合应用

在实际数据分析中，PCA常作为聚类前的预处理步骤，以解决“维度灾难”问题。例如，在用户行为分析中：

  1. 原始数据：包含用户年龄、收入、消费频次、浏览时长等20个特征。
  2. PCA降维：将20维数据降至5维，保留95%的方差。
  3. 聚类分析：对降维后的数据应用K-Means，识别高价值用户群体。

联合代码示例：

  1. from sklearn.decomposition import PCA
  2. from sklearn.preprocessing import StandardScaler
  4. # 生成高维数据
  5. X_high_dim = np.random.normal(size=(200, 20))
  7. # 数据标准化与PCA降维
  8. scaler = StandardScaler()
  9. X_scaled = scaler.fit_transform(X_high_dim)
  10. pca = PCA(n_components=5)
  11. X_pca = pca.fit_transform(X_scaled)
  13. # 聚类分析
  14. kmeans = KMeans(n_clusters=3)
  15. clusters = kmeans.fit_predict(X_pca)
  17. # 可视化前两个主成分
  18. plt.scatter(X_pca[:, 0], X_pca[:, 1], c=clusters, cmap='viridis')
  19. plt.title("PCA降维后的K-Means聚类")
  20. plt.xlabel("第一主成分")
  21. plt.ylabel("第二主成分")
  22. plt.show()

四、实践中的注意事项

  1. 数据预处理：PCA对量纲敏感，务必进行标准化处理。
  2. 主成分数量选择：可通过“累计方差贡献率”阈值（如90%）确定k值。
  3. 聚类评估：使用轮廓系数（Silhouette Score）评估聚类质量。
  4. 算法调优：K-Means的初始中心选择可通过K-Means++优化。

五、总结与扩展

本文系统阐述了PCA与聚类分析的原理、实现及应用场景。PCA通过降维提升计算效率，聚类分析则揭示数据内在结构。在实际项目中，二者常结合使用，例如在推荐系统中，先通过PCA压缩用户特征，再利用聚类识别用户群体，最终实现精准推荐。未来可进一步探索核PCA（处理非线性数据）与基于深度学习的聚类方法（如自编码器+聚类）的融合应用。

最新文章