语言建模与预训练词表示:从传统到神经模型的探索 一、语言建模的技术演进脉络 语言建模的核心目标是量化文本序列的概率分布,其发展可划分为三个阶段:基于统计规则的早期探索、神经网络驱动的词向量革命、预训练……