昇思MindSpore 2.3发布:已服务企业数量超过5500家,合作高校360所
3月22日晚间消息,在今日的昇思人工智能框架峰会2024上,昇思MindSpore 2.3全新发布,进一步提升大模型开发训推效率。
华为于2020年3月开源昇思MindSpore AI框架,开源后获得国内外开发者的积极响应,访问量数千万,超过687万下载安装使用,服务企业数量超过5500家,合作高校360所。2023年以来,基于昇思框架发表的会议论文数量超过1200篇,在所有AI框架中排名中国第一、全球第二。
华为ICT Marketing总裁周军表示:AI框架的并行计算能力、简洁编程能力、便捷部署能力等,逐渐成为大模型训练的关键成功要素。昇思将持续创新探索,聚焦根技术,以更开放的技术体系,让伙伴和开发者更灵活的实现大模型创新,加速大模型应用规模落地。
在峰会上,昇思MindSpore 2.3全新发布。据介绍,通过原创的多副本、多流水交织等8种并行技术,使集群线性度达到90%(业界不足60%),通过整图优化及下沉执行等,使得算力利用率达到55%(业界不足40%);针对集群故障率高,恢复时间长的普遍问题,通过编译快照,确定性CKPT技术实现20分钟完成故障恢复。
在大模型部署上,昇思通过训推一体的架构升级实现脚本、分布式策略,运行时的统一,Baichuan2-13B的推理部署只需1天。在大模型推理上,通过LLM Serving实现推理吞吐提升2倍多;升级模型压缩工具金箍棒2.0实现千亿大模型压缩至十倍。
为降低开发门槛,昇思持续升级MindSpore TransFormers大模型套件,并提供MindSpore One生成式套件,全流程开箱即用,一周即可完成大模型全流程的开发。
昇思MindSpore开源社区理事长丁诚在大会上公布了昇思赋能学术与生态的四项行动。昇思和中国人工智能学会、鹏城实验室合作的学术论文基金2.0,将在未来3年内携手50多家全球AI学者;昇思开发板应用创新行动,基于香橙派开发板,提供系统化的案例、教程与支持,帮助开发者快速打造个性化应用;昇思加速原生大模型孵化,通过激励、专项技术支持和市场联合推广,支持更多伙伴从昇思迁移适配走向原生开发;昇思开源社区实习活动,让开发者实践成长。