一、传统文本表示的三大困境 在深度学习兴起之前，主流的文本表示方案采用离散符号编码。以词汇表规模为10万的场景为例，每个单词被映射为10万维的二进制向量，其中仅对应索引位置为1，其余均为0。这种被称为One-H……
