大模型的温度到底是什么？从 token 采样讲到量化

前面，我们从零训练了一个小语言模型，也看到了它怎么一步步生成文字。 接着就遇到了一个很容易混淆的参数：temperature，温度。 有人把它叫作“创意参数”：温度低，回答稳定；温度高，回答发散。于是