1 迁移学习 1.0 简介
图1.0 迁移学习
迁移学习是机器学习研究的课题,在机器学习中集中于依据习得的知识解决不同但相关的问题;即用已知去解决未知(相关);
1.2 迁移学习分类 (1) 使用模型结构,不利用模型权重,重新训练数据,输出训练模型
图1.2 仅利用模型结构重新训练
当新的任务与现存的模型任务差距较大时,可借鉴模型结构,重新进行训练,以达到较优的效果,如图1.2中的摩托车和肿瘤识别.
(2) 使用模型结构和模型权重,对整个模型的权重进行微调(fine-),训练数据,输出训练模型;
图1.3 微调模型全部权重
若新任务是现存任务的升级版,则可利用现有模型的结构和训练好的模型,微调模型的全部权重,以达到新任务的需求;如提高物品的识别种类,因任务和分类任务相似,新任务只是提高了识别种类,从10类提高到100类,调节训练权重即可.
(3) 使用模型结构和模型权重,根据需要对部分神经网络层权重进行微调,训练数据,输出训练模型;
图1.4 调节部分模型权重
如图1.4所示,任务B在任务A的基础上,将前两层权重进行冻结()对后面的权重进行微调,即可达到效果.
图1.5 调节最后一层冻结其他层
图1.5中的识别语言分类中,即只调节最后一层网络,冻结其他层权重,因新任务和现有任务比较类似,且分类差别不大,仅调节最后一层即可.
1.3 迁移学习应用选型 待训练数据集数量任务相似度
将新任务与现有任务进行两个维度拆分,即新任务数据集数量和两个任务的相似度,进行组合,确定使用哪种迁移方法.
(1) 使用模型结构,不利用模型权重
大低:待训练数据集数量大,任务相似度低;
新任务的数据集的数据量较多,现有模型实现的功能和新任务差异较大,则仅使用模型结构,重新训练新任务模型,如对图中的肿瘤图形进行分类,重新训练模型效果较好.
(2) 使用模型结构和模型权重,对整个模型的权重进行微调
小高:待训练数据集数量小,任务相似度高;
新任务是现有任务的升级,可考虑对全局权重进行微调,由于数据集较少且要求都较为相似,则对整个模型微调较稳妥,如分类类别增加,从10类到100类.
(3) 使用模型结构和模型权重,根据需要对部分神经网络层权重进行微调
小高:待训练数据集数量小,任务相似度高;
新任务数据集数量较小,且两个任务相似度较高,则在特定层次进行微调模型,如输入层和全连接的最终分类层,可获得较好效果.
2 对抗学习 2.1 简介
图2.1 对抗学习原理
如图2.1所示,对抗学习有两个部分,生成网络( )和识别网络( );生成网络用于生成一个”假”图,鉴别网络是一个二分类器,负责比较生成的”假”图与实际图像的相似度,输出比较结果,若为0,则两张图相似度为0%,若为1,则两张图相似度为100%.
2.2 分类过程
图2.2 Gan分类过程
(1) 生成网络( )
生成网络:通过随机噪声和在网络中生成一个”假”图(fake )即fake ouput;
(2) 辨别网络( )
辨别网络:将真实图像(real image)和生成的图像(fake )在辨别网络中进行识别,类似于二分类网络,输出辨识结果True或False;若为True则两图像相似度较高,若为0则相似度较低;
323AI导航网发布
相关文章
