WebScaleText：构建亿级规模的高质量大语言模型预训练数据集

2026年2月8日 互联网

引言

在自然语言处理领域，预训练数据集的质量与规模直接决定了大语言模型的基础能力。当前主流方案多依赖通用网络爬虫数据，但存在数据冗余、领域分布不均衡、噪声干扰严重等问题。为解决这些挑战，我们推出WebScaleText——一个包含15万亿词元、44TB原始数据的大规模预训练数据集，其性能在多项基准测试中超越现有开源方案。本文将系统阐述该数据集的构建方法论，并重点介绍其教育领域子集的优化策略。

数据集构建方法论

1. 原始数据采集与预处理

WebScaleText的数据来源覆盖96个网络快照，通过分布式爬虫系统采集全球公开网页数据。为确保数据多样性，我们采用分层采样策略：

  • 时间维度：选取近五年内不同时间节点的快照，避免数据过时
  • 地域维度：按IP归属地划分数据源，覆盖200+国家和地区
  • 内容维度：通过MIME类型过滤，保留HTML、PDF、Markdown等结构化文本

原始数据采集后，需进行初步清洗：

  1. # 示例：HTML内容提取与清洗
  2. from bs4 import BeautifulSoup
  3. import re
  5. def clean_html(raw_html):
  6.     soup = BeautifulSoup(raw_html, 'html.parser')
  7.     # 移除脚本、样式等非内容元素
  8.     for element in soup(['script', 'style', 'nav', 'footer']):
  9.         element.decompose()
  10.     # 提取纯文本并规范化
  11.     text = soup.get_text(separator='\n', strip=True)
  12.     return re.sub(r'\s+', ' ', text).strip()

2. 智能去重策略

针对网络数据的高度冗余特性，我们设计三级去重机制：

  1. 精确去重：基于SHA-256哈希算法，识别完全相同的文档
  2. 语义去重：通过Sentence-BERT模型计算文本嵌入向量，使用LSH算法检测相似内容
  3. 片段去重：采用滑动窗口技术（窗口大小=512字符）检测重复文本片段

实验表明，该策略可减少62%的数据冗余，同时保留98%以上的有效信息。

3. 多维度质量评估

建立包含23项指标的质量评估体系，重点优化以下维度：

  • 可读性：Flesch阅读易度评分≥60
  • 信息密度：实体密度（每百词实体数）≥3.5
  • 领域适配：通过Zero-Shot分类器评估与目标领域的匹配度

质量评估模型采用集成学习框架：

  1. Quality Score = 0.4*Linguistic + 0.3*Semantic + 0.2*Domain + 0.1*Diversity

教育领域子集优化

1. FineWeb-Edu构建方法

从WebScaleText中筛选教育相关内容，构建两个规模的子集：

  • 标准版：5.4万亿词元，高教育内容占比
  • 专业版：1.3万亿词元，极高教育内容占比

筛选流程包含四层过滤：

  1. 关键词过滤：匹配教育领域术语库（含12万关键词）
  2. 结构识别：优先选择包含目录、参考文献的结构化文档
  3. 权威验证：通过URL白名单（.edu域名、知名教育平台）提升可信度
  4. 人工复核：对高价值样本进行抽样校验

2. 性能验证与基准测试

在多项教育基准测试中，FineWeb-Edu展现显著优势：
| 测试集 | WebScaleText | 某主流数据集 | 提升幅度 |
|—————|——————-|——————-|————-|
| MMLU | 68.2% | 62.5% | +9.1% |
| ARC | 74.7% | 69.3% | +7.8% |
| OpenBookQA| 81.4% | 76.8% | +6.0% |

测试环境配置：

  • 模型架构：Transformer-XL（12层，768维）
  • 训练参数：batch_size=2048，lr=5e-5
  • 硬件环境：32卡分布式训练集群

技术实现细节

1. 分布式处理架构

采用”采集-清洗-存储-计算”分离的架构设计：

  • 数据采集层：基于Scrapy的分布式爬虫集群
  • 清洗处理层：Spark集群（300节点）进行并行处理
  • 存储层：对象存储系统（支持S3兼容协议）
  • 计算层：Ray框架实现的分布式训练

2. 性能优化策略

  • 内存管理：采用零拷贝技术减少数据序列化开销
  • 计算加速：使用CUDA内核优化哈希计算性能
  • 任务调度：基于Kubernetes的动态资源分配

优化前后性能对比：
| 处理阶段 | 原始方案 | 优化方案 | 加速比 |
|——————|————-|————-|———-|
| HTML解析 | 1.2TB/h| 3.8TB/h| 3.17x |
| 语义去重 | 0.8TB/h| 2.5TB/h| 3.12x |
| 质量评估 | 0.5TB/h| 1.9TB/h| 3.80x |

开放许可与获取方式

WebScaleText及FineWeb-Edu均采用ODC-By 1.0许可协议发布，开发者可：

  1. 完整数据集：44TB原始数据（需申请特殊访问权限）
  2. 精简版本：1TB精选数据（可直接下载）
  3. 教育子集：标准版/专业版（按需选择）

获取流程：

  1. 访问开放数据平台
  2. 注册开发者账号
  3. 签署数据使用协议
  4. 通过API或SDK下载数据

结论与展望

WebScaleText通过系统化的数据构建方法论，为大规模预训练提供了高质量数据基础。实验证明，使用该数据集训练的模型在通用领域和教育领域均表现优异。未来工作将聚焦：

  1. 多模态数据融合
  2. 实时数据更新机制
  3. 领域自适应优化框架

我们期待与开发者社区共同探索大规模数据集的构建与应用，推动自然语言处理技术的持续进步。

最新文章