基于MindSpore内置的并行技术和组件化设计
介绍MindSpore MindFormers套件的目标是构建一个大模型训练、推理、部署的全流程开发套件：提供业内主流的Transformer类预训练模型和SOTA下游任务应用，涵盖丰富的并行特性。期望帮助用户轻松的实现大模型训练和创新研发。 MindSpore MindFormers套件基于MindSpore内置的并行技术和组件化设计，具备如下特点：一行代码实现从单卡到大规模集群训练的无缝切换。提供灵活易用的个性化并行配置。能够自动进行拓扑感知，高效地融合数据并行和模型并行策略。一键启动任意任务的训练、评估、推理流程。支持用户进行组件化配置任意模块，如优化器、学习策略、网络组装等。提供Trainer、ModelClass、ConfigClass、pipeline等高阶易用性接口。如果您对MindSpore MindFormers有任何建议，请通过Gitee或MindSpore与我们联系，我们将及时处理。目前支持的模型列表如下： BERT GPT OPT T5 MAE SimMIM CLIP FILIP Vit Swin安装目前仅支持源码编译安装，用户
文件大小：329.15KB
评论区