大模型推理灰盒测试:基于TensorRT日志的深度分析方法 一、灰盒测试在大模型推理中的核心价值 大模型推理服务的性能优化面临双重挑战:既要保证低延迟的实时响应,又需控制硬件资源的消耗。传统黑盒测试仅能通过输……