GGUF

• 大模型量化部署实战：GPTQ与AWQ算法原理及GGUF格式转换

  大模型量化部署是将百亿参数规模的LLM压缩到消费级GPU上运行的核心技术。量化通过降低权重精度（FP16转INT4/INT8），在几乎不损失推理质量的前提下将显存占用减少4倍以上，…

  人工智能 11小时前