(相关资料图)
【环球网科技综合报道】6月27日消息,思谋科技宣布行业首个工业大模型开发与应用底座SMore LrMo正式发布。
据介绍,SMore LrMo是面向工业场景的大模型开发与应用平台,覆盖了应用层面、算法框架、基础设施服务等开发全场景,涉及算力资源调度管理能力、数据自动标注管理能力、应用开发管理能力、算法服务管理能力等人工智能模型全生命周期。SMore LrMo专为解决工业场景下大模型的数据采集复杂、数据安全性要求严格、设备异构程度高、计算集群分布广、大模型工程化成本高等痛点而来,具有安全与隐私性高、硬件适配广泛、多云调度、大模型训练快等特点。
SMore LrMo支持云边端设备联动、多数据源接入,可对工业级大规模数据集进行高效处理和管理,提供高效的数据操作接口和分布式数据处理能力,以满足复杂数据处理需求;亦支持非联邦学习模型到联邦模型的快速转换,实现联邦学习场景下,对卷积、图、Transformer等神经网络的适配,可满足制造企业对数据安全与隐私管理严格的要求。
SMore LrMo还具备通用性、广泛的硬件适配能力。该平台支持Intel与ARM架构芯片以及NVDIA、寒武纪、天数智芯等5种国产加速卡,超3种以上国产框架,实现了基于国产加速卡与深度框架的150多种深度学习与强化学习模型的适配;在AI作业跨域自动化感知调度时,可实现万卡、20个以上集群管理调度,线性加速80%以上。
据SMore LrMo研发负责人透露,在大模型训练上,平台可支持超1000亿参数规模的大模型分布式训练,较主流深度学习框架训练加速超15%;在推理加速上,平台提供模型自动压缩工具集,提供异构加速卡加速SDK,提升模型推理效率,通用开源大模型部署效率提升3-5倍,平台上线部署模型最高可达到单GPU 1000+ 的吞吐速度;支持模型一键部署,实现推理服务高吞吐高性能,并弹性扩缩容,并提供完整的运维监控体系,极大助力各式高精度工业AI模型的开发与应用。
“目前客户的反馈显示SMore LrMo开发应用效果非常不错。例如某大型算力中心,客户需要利用15个集群,共计3000+异构计算卡,满足大模型开发与部署应用的场景,并要对模型持续优化,保持在线服务迭代顺畅。我们为该客户部署SMore LrMo人工智能开发平台后,客户可根据不同的训练任务智能调度训练资源,模型平均训练速度从原来的小时/epoch降低到小时/epoch。即使面对超1000亿参数的大模型训练,SMore LrMo依然能高效完成,整体帮助客户训练成本降低40%。”该负责人表示。
关键词: