一、硬件架构相关术语 1. GPU(图形处理器) GPU是大模型训练的核心算力单元,其并行计算能力远超CPU。以主流架构为例,GPU通过数千个CUDA核心实现矩阵运算的并行加速,例如在Transformer模型中,GPU可同时处理数……