python学习-联邦学习个性化模型-深度学习-FedTP-通过Transformer实现个性化联合学习
论文《FedTP: Federated Learning by Transformer Personalization》官方所附代码。该论文提出了FedTP,是一种基于Transformer的新型联邦学习框架,具有个性化自我关注功能,能更好地处理客户间的数据异构性。FedTP为每个客户端学习一个个性化的自我注意层,而其他层的参数则由客户端共享。此外,服务器会学习一个超网络,在自我注意层中生成投影矩阵,以生成客户查询、键和值。这种超网络是在客户端之间共享参数的有效方法,同时还能保持个性化变换器的灵活性。适用于深度学习和联邦学习方面的研究者或爱好者收藏查看。
FedTP-main.zip
预估大小:26个文件
FedTP-main
文件夹
utils.py
61KB
optimizer
文件夹
optimizer.py
845B
main.py
85KB
data
文件夹
shakespeare
文件夹
__init__.py
文件夹
generate_data.py
3KB
get_data.sh
623B
234.55KB
文件大小:
评论区