一、Token：语言模型的基础单元 1.1 Token的定义与类型 Token是LLM处理文本的最小单元，其本质是将连续文本拆分为离散符号序列的过程。根据拆分粒度，Token可分为三类： 字符级Token：以单个字符（如英文的”a”、”……
