一、极限场景：智能客服的”生死时速” 某电商大促期间，某智能客服系统突然出现推理延迟从平均200ms飙升至2.3秒的极端情况。此时客服请求量激增至平时5倍，系统同时处理着12万并发会话，而模型推理作为核心环节，其……
