学习目标本节内容需要大致了解GPT的架构原理、预训练任务、微调任务2018年6月, OpenAI公司发表了论文“Improving Language Understanding by Generative Pre-training”《用生成式预训练提高模型的语言理解力》, 推出了具有1.17亿个参数的GPTGenerative Pre-training , 生成式预训练模型.来源于Bert论文1.GPT的架构2.GPT训练过程GPT的训练包括两阶段过程:预训练 微调第一阶段: 无监督的预训练语言模型第二阶段: 有监督的下游任务fine-tunning2.1 无监督的预训练语言模型2.2 有监督的下游任务fine-tunning2.3 整体训练过程架构图根据下游任务适配的过程分两步:根据任务定义不同输入对不同任务增加不同的分类层分类任务Classification: 将起始和终止token加入到原始序列两端, 输入transformer中得到特征向量, 最后经过一个全连接得到预测的概率分布文本蕴涵Entailment: 将前提premise和假设hypothesis通过分隔符Delimiter隔开, 两端加上起始和终止token. 再依次通过transformer和全连接得到预测结果文本相似度Similarity: 输入的两个句子, 正向和反向各拼接一次, 然后分别输入给transformer, 得到的特征向量拼接后再送给全连接得到预测结果问答和常识推理Multiple-Choice: 将 N个选项的问题抽象化为N个二分类问题, 即每个选项分别和内容进行拼接, 然后各送入transformer和全连接中, 最后选择置信度最高的作为预测结果3.总结优点在有监督学习的12个任务中, GPT在9个任务上的表现超过了state-of-the-art的模型利用Transformer做特征抽取, 能够捕捉到更长的记忆信息, 且较传统的 RNN 更易于并行化缺点GPT 最大的问题就是传统的语言模型是单向的. 【Bert】针对不同的任务, 需要不同的数据集进行模型微调, 相对比较麻烦【GPT2 GPT3】
