在对比学习的损失函数（如InfoNCE、NT-Xent等）中，温度参数（Temperature，通常用τ表示） 是一个核心超参数，其核心作用是调节模型对样本间相似度差异的敏感程度，通过缩放相似度分数来控制损失函数中正负例的区分强度。

1. 温度参数的数学位置

以最常用的InfoNCE损失为例，其公式可简化为：
$$\mathcal{L} = -\log\left( \frac{\exp(\text{sim}(z_i, z_+)/\tau)}{\sum_{k \in \text{neg} \cup {+}} \exp(\text{sim}(z_i, z_k)/\tau)} \right)$$
其中：

  • $z_i$ 是锚点样本的特征向量，$z_+$ 是正例样本的特征向量，$z_k$ 是负例样本的特征向量；
  • $\text{sim}(\cdot, \cdot)$ 是相似度函数（如内积、余弦相似度)，一般都是余弦相似度；
  • $\tau$ 即为温度参数，位于指数函数的分母，作为softmax的缩放因子。

2. 温度参数的直观含义

温度参数的核心作用是调节相似度分布的“尖锐度”，控制模型对正负例相似度差异的敏感程度，具体表现为：

（1）低温（τ → 0）：强化差异敏感性

当τ很小时，$\exp(\text{sim}/\tau)$ 对相似度的微小差异会极其敏感：

  • 若正例与锚点的相似度（$\text{sim}(z_i, z_+)$）显著高于所有负例，分子会远大于分母中的负例项，softmax输出趋近于1，损失趋近于0（模型“轻松”区分）；
  • 若存在负例与锚点的相似度接近正例（即“难负例”），分子与分母的差距会被放大，softmax输出趋近于0，损失会急剧增大（模型被强制“重视”并修正这种模糊性）。

此时，模型会被强制学习更陡峭的决策边界，对正负例的区分要求极严格，但可能因过度关注细节而导致过拟合。

（2）高温（τ → ∞）：弱化差异敏感性

当τ很大时，$\exp(\text{sim}/\tau)$ 对相似度的差异不敏感，所有项的指数值接近1，softmax分布会更“平缓”：

  • 正例与负例的相似度差异被缩小，模型对“难负例”的惩罚减轻；
  • 损失函数的梯度更平缓，模型学习更“保守”，可能导致特征区分度不足。

此时，模型更关注全局分布的一致性，但可能因区分度过低而学习效果下降。

（3）总结：温度的“调节”作用

温度参数本质是平衡正负例的区分强度与模型鲁棒性的旋钮：

  • 较小的τ增强对差异的敏感度，适合需要精细区分的任务（如细粒度分类）；
  • 较大的τ降低敏感度，适合噪声较多或负例质量参差不齐的场景（如大规模无标注数据）。

3. 实际应用中的特点

  • 超参数属性：温度参数通常需要通过网格搜索或经验调参确定（如视觉领域常用τ=0.07，NLP领域可能因任务不同调整）；
  • 与任务强相关：最优τ值依赖于数据集规模、正负例质量、相似度函数等，无统一标准；
  • 类比来源：命名借鉴了统计力学中的“温度”概念——低温下粒子运动更集中（分布尖锐），高温下更分散（分布平缓）。

综上，温度参数是对比学习中控制特征区分度与鲁棒性的关键超参数，通过调节相似度分布的尖锐度，直接影响模型对正负例差异的学习强度。