一、技术突破:0.36B参数背后的架构革命 ERNIE 4.5的核心突破在于其“动态稀疏注意力+知识蒸馏”双引擎架构。传统轻量级模型(如MobileBERT、TinyBERT)往往通过直接缩减层数或隐藏层维度实现参数压缩,但会导致知识……