书生模型-1.简介 使用前的准备 graph TB A(确定规模) --> B{是否复杂} B --是--> D{算例是否足够} B -- 否--> G{构建智能体} D --是--> F(续参/全参数微调) D --否--> E(部分微调/LORA) E --> G F -->G G --是--> H(构建智能体) G --否--> C(模型的测评) H --> C C --> I(部署) 2024-01-04 #书生 #工程实践
图神经网路 十分推荐英文版的:[图神经网络解析](A Gentle Introduction to Graph Neural Networks (distill.pub)) V: E: U: 我们知道存在很多网络:社交网络,鸟群网络,但是图片和文字依然可以通过网络构成。 图片: 将图片的位置转成一列,然后分成相同的横纵坐标,对于连接的横纵坐标进行标记。 文字: 同样的方式横纵坐标都进行标记。 图 神 2023-12-11
BERT-下游任务 微调: 1. 输入: 句子的输入要选择词嵌入Bert选择了WordPiece进行子词词元化。要满足Bert的要求 1.1 标记嵌入: [CLS]句子[SEP] 1.2 分段嵌入 [CLS]句子1[SEP]句子2[SEP] 1.3 位置嵌入 给出词序的具体位置信息 最后将上面的三个特征进行相加,即为输入特征,输入到Bert中。 2. 完成的下游任务: 句子经过Bert的token器后执行下列动作: 2023-12-09 #BERT
BERT-框架 Bert将Transformer左半边的Encoder拿出来进行单独训练,来生成预训练模型。GPT是将Transformers右半边Decoder拿出来进行预训练。整体的框架如下: 1. 输入: 词嵌入Bert选择了WordPiece进行子词词元化。 [CLS] : 在训练前,每个句子开始时都有CLS预示输入的开始,同时也不包含任何含义。在训练后,它汇总了句子所有的特征,可以用来继续下游的分类任 2023-12-09