Python自动化抓取指南：百度FM歌曲批量获取实战教程

2025年12月13日 互联网

Python自动化抓取指南：百度FM歌曲批量获取实战教程

一、技术背景与需求分析

随着流媒体音乐平台的普及，用户对个性化音乐获取的需求日益增长。百度FM作为国内主流音乐服务平台，其丰富的曲库资源吸引大量用户。然而，平台未提供批量下载接口，手动逐首下载效率低下。通过Python脚本实现自动化抓取，可显著提升音乐管理效率，但需严格遵守法律法规及平台服务条款。

1.1 技术可行性分析

  • 网络请求库：Requests库支持HTTP/HTTPS协议，可模拟浏览器发送请求
  • 数据解析工具：BeautifulSoup/lxml适用于HTML解析，JSON模块处理结构化数据
  • 存储方案：本地文件系统存储音频文件，数据库管理元数据
  • 反爬机制应对：User-Agent轮换、请求间隔控制、代理IP池

1.2 法律合规要点

  • 仅抓取具有公开访问权限的内容
  • 遵守《著作权法》关于合理使用的规定
  • 禁止商业用途分发
  • 尊重平台robots.txt协议

二、核心实现步骤

2.1 环境准备

  1. # 基础依赖安装
  2. pip install requests beautifulsoup4 lxml pydub

2.2 请求头配置

  1. headers = {
  2.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
  3.     'Referer': 'https://fm.baidu.com/',
  4.     'Accept': 'application/json, text/javascript, */*; q=0.01'
  5. }

2.3 搜索接口解析

通过分析百度FM的API接口，发现其搜索功能通过以下端点实现：

  1. POST https://fm.baidu.com/data/music/songlist
  2. Form Data: 
  3. {
  4.     "method": "baidu.ting.search.common",
  5.     "query": "歌曲名称",
  6.     "page_no": 1,
  7.     "page_size": 20
  8. }

2.4 完整抓取流程

  1. import requests
  2. import json
  3. from urllib.parse import quote
  5. def search_songs(keyword):
  6.     url = "https://fm.baidu.com/data/music/songlist"
  7.     params = {
  8.         "method": "baidu.ting.search.common",
  9.         "query": quote(keyword),
  10.         "page_no": 1,
  11.         "page_size": 20
  12.     }
  13.     response = requests.post(url, data=params, headers=headers)
  14.     return json.loads(response.text)
  16. def get_song_url(song_id):
  17.     detail_url = f"https://fm.baidu.com/data/music/songinfo?songid={song_id}"
  18.     res = requests.get(detail_url, headers=headers)
  19.     data = json.loads(res.text)
  20.     # 实际URL可能需要二次解析
  21.     return data.get('songinfo', {}).get('bitrate', {}).get('file_link')
  23. def download_song(url, filename):
  24.     if not url:
  25.         return False
  26.     try:
  27.         with requests.get(url, stream=True) as r:
  28.             with open(filename, 'wb') as f:
  29.                 for chunk in r.iter_content(chunk_size=8192):
  30.                     if chunk:
  31.                         f.write(chunk)
  32.         return True
  33.     except Exception as e:
  34.         print(f"下载失败: {e}")
  35.         return False

三、进阶优化方案

3.1 多线程加速

  1. from concurrent.futures import ThreadPoolExecutor
  3. def batch_download(song_list, max_workers=5):
  4.     with ThreadPoolExecutor(max_workers=max_workers) as executor:
  5.         futures = []
  6.         for song in song_list:
  7.             url = get_song_url(song['songid'])
  8.             if url:
  9.                 futures.append(executor.submit(
  10.                     download_song, 
  11.                     url, 
  12.                     f"{song['title']}.mp3"
  13.                 ))
  14.         for future in futures:
  15.             future.result()

3.2 元数据管理

  1. import sqlite3
  3. def init_db():
  4.     conn = sqlite3.connect('music.db')
  5.     c = conn.cursor()
  6.     c.execute('''CREATE TABLE IF NOT EXISTS songs
  7.                  (id INTEGER PRIMARY KEY, title TEXT, artist TEXT, 
  8.                   url TEXT, download_path TEXT)''')
  9.     conn.commit()
  10.     conn.close()
  12. def save_metadata(song_info):
  13.     conn = sqlite3.connect('music.db')
  14.     c = conn.cursor()
  15.     c.execute("INSERT INTO songs VALUES (NULL,?,?,?,?)", (
  16.         song_info['title'],
  17.         song_info['artist_name'],
  18.         song_info['file_link'],
  19.         f"{song_info['title']}.mp3"
  20.     ))
  21.     conn.commit()
  22.     conn.close()

四、风险控制与异常处理

4.1 反爬策略应对

  • 请求间隔：使用time.sleep(random.uniform(1,3))
  • IP轮换：集成代理池服务
  • 验证码处理：当返回403时，暂停请求并人工干预

4.2 错误处理机制

  1. def robust_download(url, filename, max_retries=3):
  2.     for attempt in range(max_retries):
  3.         try:
  4.             if download_song(url, filename):
  5.                 return True
  6.         except Exception as e:
  7.             if attempt == max_retries - 1:
  8.                 print(f"最终下载失败: {e}")
  9.                 return False
  10.             time.sleep(2 ** attempt)  # 指数退避

五、伦理与法律建议

  1. 使用限制：

    • 每日抓取量控制在200首以内
    • 避免高峰时段（10:00-22:00）大规模请求
    • 存储期限不超过30天

  2. 合规方案：

    • 添加版权声明文件
    • 提供删除功能接口
    • 限制转发功能

  3. 替代方案：

    • 使用百度官方API（需申请权限）
    • 订阅平台付费服务
    • 通过合法音乐聚合平台获取

六、完整示例代码

  1. import requests
  2. import json
  3. import time
  4. import random
  5. from urllib.parse import quote
  7. class BaiduFMDownloader:
  8.     def __init__(self):
  9.         self.headers = {
  10.             'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
  11.             'Referer': 'https://fm.baidu.com/'
  12.         }
  13.         self.base_url = "https://fm.baidu.com/data/music"
  15.     def search(self, keyword, page=1):
  16.         url = f"{self.base_url}/songlist"
  17.         params = {
  18.             "method": "baidu.ting.search.common",
  19.             "query": quote(keyword),
  20.             "page_no": page,
  21.             "page_size": 20
  22.         }
  23.         try:
  24.             res = requests.post(url, data=params, headers=self.headers)
  25.             return json.loads(res.text)
  26.         except Exception as e:
  27.             print(f"搜索失败: {e}")
  28.             return None
  30.     def get_download_url(self, song_id):
  31.         url = f"{self.base_url}/songinfo?songid={song_id}"
  32.         try:
  33.             res = requests.get(url, headers=self.headers)
  34.             data = json.loads(res.text)
  35.             return data.get('songinfo', {}).get('bitrate', {}).get('file_link')
  36.         except Exception as e:
  37.             print(f"获取下载链接失败: {e}")
  38.             return None
  40.     def download(self, url, filename):
  41.         if not url:
  42.             return False
  43.         try:
  44.             time.sleep(random.uniform(1, 2))  # 礼貌性延迟
  45.             with requests.get(url, stream=True, headers=self.headers) as r:
  46.                 with open(filename, 'wb') as f:
  47.                     for chunk in r.iter_content(chunk_size=8192):
  48.                         if chunk:
  49.                             f.write(chunk)
  50.             return True
  51.         except Exception as e:
  52.             print(f"下载失败 {filename}: {e}")
  53.             return False
  55. # 使用示例
  56. if __name__ == "__main__":
  57.     downloader = BaiduFMDownloader()
  58.     results = downloader.search("周杰伦")
  59.     if results and 'song_list' in results:
  60.         for song in results['song_list'][:5]:  # 下载前5首
  61.             url = downloader.get_download_url(song['songid'])
  62.             if url:
  63.                 downloader.download(url, f"{song['title']}.mp3")

七、总结与展望

本方案通过系统化的技术实现，提供了百度FM歌曲抓取的完整解决方案。开发者应牢记：

  1. 技术实现需以合法合规为前提
  2. 需建立完善的错误处理和反爬机制
  3. 建议优先使用平台官方接口
  4. 持续关注相关法律法规更新

未来可扩展方向包括：

  • 集成AI推荐算法实现智能下载
  • 开发跨平台音乐管理工具
  • 增加音频格式转换功能
  • 构建社区化音乐分享平台（需严格审核）

通过技术手段优化音乐获取体验的同时，必须坚守法律和道德底线，共同维护健康的网络生态环境。

最新文章