一、边缘计算场景下的推理框架需求演进 随着AI模型参数量突破千亿级，在边缘设备部署大语言模型（LLM）和视觉语言模型（VLM）面临三大核心挑战：硬件资源受限（典型设备内存<16GB）、实时性要求（端到端延迟<……
