近日，美国西北大学孟凡非博士和中国科学院计算所的团队在纵向和混合联邦学习的的研究中中取得重要进展。团队根据增量学习过程中，神经网络结构可以保存被训练数据的特征分布的特性，设计了一种利用加密后的聚合特征向量和中的截断网络在中进行聚合训练的纵向和混合联邦学习范式。 中的截断网络是基于本地数据已经完全训练好的部分深度模型网络结构，其中存有数据的分布情况但是无法揭示用户信息。聚合特征向量是阶段网络对本地输入数据的特征表征，具有引导聚合网络学习的作用。
联邦学习（ ）是一种新兴的人工智能基础技术，在2016 年由谷歌最先提出，原本用于解决安卓手机终端用户在本地更新模型的问题，其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算结点之间开展高效率的机器学习。目前，横向联邦学习已经实现高效的基于深度网络的交流训练，但是纵向联邦学习和混合联邦学习的深度网络范式效率仍远低于横向联邦学习，其通常复杂度大概是6n （n为的数量）。在纵向学习场景中，来自的部分网络可能存储不相交或重叠的内容自身数据的特征，从而无法像横向场景中直接权重平均。为了解决这个问题，团队进行了所有局部网络的垂直组合以实现不同网络之间的通信，使用纵向级联的特征嵌入向量来表征特征空间，从而获取端信息。
据悉，该方法在训练过程中完全没有梯度交换，只传递端部分阶段网络的权重和聚合级特征嵌入，并且端能够独立进行模型训练，这显著降低系统沟通成本。 在此背景下，该团队的学习范式时间复杂度恒定为2，不受数量的影响，因此计算复杂度得到了88．9％的降低。与此同时，该方法以两种方式进行数据隐私保护：向量聚合和差分隐私，从而排除在中需要对传递的特征解密的需要。 本项目相关结果以“： A and using And ”为题发表在 on 上。孟凡非为论文第一作者，美国西北大学为第一作者单位。该工作得到了重点研发计划重点项目和国家自然科学基金重点项目的资助。（作者：黎明）
323AI导航网发布
相关文章
