关于量化工具和实际应用,下列描述正确的是:
GPTQ 和 AWQ 是常用的大语言模型量化方法,可以将模型量化到 4-bit 精度并保持较好的性能
量化后的模型无法在任何硬件上运行
所有量化方法都需要重新训练模型
量化只能应用于模型参数,不能应用于激活值