Bert-下游微调
微调：
1. 输入：
句子的输入要选择词嵌入Bert选择了WordPiece进行子词词元化。要满足Bert的要求
1.1 标记嵌入：
[CLS]句子[SEP]
1.2 分段嵌入
[CLS]句子1[SEP]句子2[SEP]
1.3 位置嵌入
给出词序的具体位置信息
最后将上面的三个特征进行相加，即为输入特征，输入到Bert中。
2. 完成的下游任务：
句子经过Bert的token器后执行下列动作：
1. 文本分类
输入：单句话：[CLS]句子[SEP]
输出：将输出的[CLS]经过softmax函数送入结果分类器。
2. 自然语言推理
输入：单句话：[CLS]句子1[SEP]句子2[SEP]
输出：将输出的[CLS]经过softmax函数送入结果分类器。
3. 机器问答
输入：单句话：[CLS]句子1[SEP]句子2[SEP]
输出：将输出的问答句子[SEP]句子2[SEP],使用softmax后计算答案的起始位置与结束位置
4. 命名实体识别
输入：单句话：[CLS]句子[SEP]
输出：所有特征经softmax后送入分类器中
Bert-下游微调
http://example.com/2023/12/09/Bert-下游微调/