机器学习算法

机器学习算法选型：XGBoost 与 LightGBM 梯度提升框架对比 机器学习算法在生产环境中的落地，梯度提升树是最常用的选择之一。XGBoost 与 LightGBM 都基于…

大语言模型推理过程中，KV Cache是核心显存消耗组件。自回归生成模式下，每个token生成需要访问此前所有token的Key和Value矩阵，这些矩阵必须缓存在GPU显存中。以…