2023Python数据分析实战：五大经典项目全解析

2026年1月21日 互联网

一、数据清洗与预处理实战

在数据分析流程中，数据清洗占据60%以上的工作时间。以电商订单数据为例，原始数据常包含缺失值、重复值和异常值。使用Pandas进行清洗时，inplace=True参数可实现原地修改，避免创建数据副本。例如处理缺失列时：

  1. import pandas as pd
  2. import numpy as np
  4. # 模拟缺失数据
  5. data = pd.DataFrame({
  6.     'order_id': [1,2,3,4],
  7.     'amount': [100, np.nan, 200, np.nan],
  8.     'customer': ['A','B','C','D']
  9. })
  11. # 原地删除缺失行
  12. data.dropna(subset=['amount'], inplace=True)
  13. # 等效操作：data = data.dropna(subset=['amount'])

对于大数据集（GB级别），推荐使用Numpy进行数值计算。经基准测试，Numpy计算均值比Pandas快3-5倍：

  1. import time
  3. # 生成1000万行测试数据
  4. large_data = pd.DataFrame({'value': np.random.rand(10_000_000)})
  6. # Pandas计算
  7. start = time.time()
  8. pd_mean = large_data['value'].mean()
  9. print(f"Pandas耗时: {time.time()-start:.2f}s")
  11. # Numpy计算
  12. start = time.time()
  13. np_mean = np.mean(large_data['value'].values)
  14. print(f"Numpy耗时: {time.time()-start:.2f}s")

二、可视化定制技巧

Matplotlib作为基础可视化库，通过参数配置可实现专业级图表。绘制带标注的折线图时，需注意坐标计算与文本偏移：

  1. import matplotlib.pyplot as plt
  3. # 模拟销售数据
  4. months = ['Jan','Feb','Mar','Apr']
  5. sales = [120, 150, 180, 90]
  7. fig, ax = plt.subplots(figsize=(8,4))
  8. ax.plot(months, sales, 'r-', marker='o')  # 红色实线
  10. # 添加数据标签
  11. for x, y in zip(months, sales):
  12.     ax.text(x, y+2, str(y), ha='center', va='bottom')  # y+2实现垂直偏移
  14. plt.title('Quarterly Sales Trend')
  15. plt.ylabel('Revenue (k$)')
  16. plt.grid(True)
  17. plt.show()

柱状图的颜色配置可通过color参数实现，建议使用色板工具（如Coolors）生成协调配色：

  1. categories = ['Electronics','Clothing','Food','Home']
  2. values = [45, 30, 15, 10]
  3. colors = ['#2E86AB', '#A23B72', '#F18F01', '#C73E1D']
  5. plt.bar(categories, values, color=colors)
  6. plt.title('Product Category Distribution')
  7. plt.xticks(rotation=45)
  8. plt.tight_layout()  # 自动调整布局
  9. plt.show()

三、数据分组与聚合实战

订单数据分析中，分组聚合是核心操作。以餐饮订单数据为例，需计算各菜品销量：

  1. # 模拟订单数据
  2. orders = pd.DataFrame({
  3.     'order_id': [101,101,102,102,103],
  4.     'dish': ['Burger','Fries','Pizza','Salad','Burger'],
  5.     'quantity': [2,1,1,1,3]
  6. })
  8. # 方法1：直接分组计数
  9. dish_counts = orders['dish'].value_counts()
  11. # 方法2：创建分组表后聚合
  12. order_groups = orders.groupby(['order_id','dish']).sum().reset_index()
  13. dish_totals = order_groups.groupby('dish')['quantity'].sum().sort_values(ascending=False)
  15. # 绘制TOP10菜品
  16. top_dishes = dish_totals.head(10)
  17. plt.figure(figsize=(10,5))
  18. plt.barh(top_dishes.index, top_dishes.values, color='#4E79A7')
  19. plt.xlabel('Total Quantity Sold')
  20. plt.title('Top 10 Best-Selling Dishes')
  21. plt.gca().invert_yaxis()  # 反转Y轴使最高值在上
  22. plt.show()

四、统计建模与预测

时间序列分析中，移动平均是常用平滑技术。使用Pandas的rolling方法实现7日移动平均：

  1. # 模拟每日销售数据
  2. dates = pd.date_range('2023-01-01', periods=30)
  3. daily_sales = np.random.randint(50, 200, size=30)
  4. sales_df = pd.DataFrame({'date': dates, 'sales': daily_sales})
  6. # 计算7日移动平均
  7. sales_df['7day_avg'] = sales_df['sales'].rolling(window=7).mean()
  9. # 可视化对比
  10. plt.figure(figsize=(12,6))
  11. plt.plot(sales_df['date'], sales_df['sales'], 'b-', label='Daily Sales')
  12. plt.plot(sales_df['date'], sales_df['7day_avg'], 'r--', label='7-Day MA')
  13. plt.legend()
  14. plt.title('Sales Trend with Moving Average')
  15. plt.xticks(rotation=45)
  16. plt.tight_layout()
  17. plt.show()

五、性能优化技巧

处理百万级数据时，需注意以下优化策略：

  1. 数据类型优化：将object类型转为category可节省70%内存
    ```python

    转换前

    print(orders.info()) # dish列占用高

转换后

orders[‘dish’] = orders[‘dish’].astype(‘category’)
print(orders.info()) # 内存占用显著降低

  1. 2. **分块处理**：使用`chunksize`参数读取大文件
  2. ```python
  3. chunk_iter = pd.read_csv('large_dataset.csv', chunksize=100_000)
  4. for chunk in chunk_iter:
  5.     process(chunk)  # 分块处理函数
  1. 向量化操作：避免循环，使用内置方法
    ```python

    低效方式

    results = []
    for val in data[‘values’]:
    results.append(val * 2)

高效方式

data[‘doubled’] = data[‘values’] * 2

  2. ### 六、项目实战完整流程
  3. 以电商用户行为分析为例，完整流程包含：
  4. 1. **数据加载**：使用`pd.read_csv()`加载JSON/CSV数据
  5. 2. **清洗转换**：处理缺失值、标准化日期格式
  6. 3. **特征工程**：创建RFM（最近购买、购买频率、购买金额）指标
  7. 4. **用户分群**：使用K-Means聚类
  8. 5. **可视化报告**：生成交互式仪表盘（可结合Plotly）
  10. ```python
  11. # 示例：RFM计算
  12. from datetime import datetime
  14. # 假设有订单数据
  15. orders['order_date'] = pd.to_datetime(orders['order_date'])
  16. latest_date = orders['order_date'].max()
  18. # 计算RFM指标
  19. rfm = orders.groupby('customer_id').agg({
  20.     'order_date': lambda x: (latest_date - x.max()).days,  # Recency
  21.     'order_id': 'count',                                   # Frequency
  22.     'amount': 'sum'                                         # Monetary
  23. })
  24. rfm.columns = ['Recency', 'Frequency', 'Monetary']
  26. # 标准化处理
  27. from sklearn.preprocessing import MinMaxScaler
  28. scaler = MinMaxScaler()
  29. rfm_scaled = pd.DataFrame(scaler.fit_transform(rfm), columns=rfm.columns)

通过系统掌握这五大实战场景，数据分析师可具备独立处理商业数据项目的能力。建议读者从实际业务需求出发，结合Jupyter Notebook的交互式开发环境，逐步构建完整的数据分析流水线。

最新文章