2025-07-15
在对比学习的损失函数(如InfoNCE、NT-Xent等)中,温度参数(Temperature,通常用τ表示) 是一个核心超参数,其核心作用是调节模型对样本间相似度差异的敏感程度,通过缩放相似度分数来控制损失函数中正负例的区分强度。
1. 温度参数的数学位置以最常用的InfoNCE损失为例,其公式可简化为:$$\mathcal{L} = -\log...
阅读全文
2025-07-09
科普向:什么是胶水代码?为什么胶水代码不需要修改实质性逻辑?Glue code(胶水代码)是指用于把不同的软件组件、库、系统或模块“粘合”在一起,使它们能够协同工作的代码。它通常本身不是实现业务逻辑的核心部分,而是负责不同部分之间的对接、适配和调用。
主要特点
桥梁作用:连接两个或多个原本不兼容或相互独立的系统、库或模块。
适配/转换:可能包括参数...
阅读全文
2025-06-19
背景 在日常使用一些数据处理脚本以及训练模型的时候,使用传递参数很常见,因此对使用python进行参数传递的方式进行了整理
1.使用sys.argv的数组进行传参使用sys.argv必须按照先后的顺序传入对应的参数;sys.argv则封装了传入的参数数据,作为数组的方式进行传入。
1234567891011imp...
阅读全文
2025-06-12
step1 导入相关包123import evaluatefrom datasets import load_datasetfrom transformers import AutoTokenizer, AutoModelForTokenClassification, TrainingArguments, Trainer, DataCollatorForTo...
阅读全文