【ky开元科技消息】7月31日,华为宣布正式开源openPangu-2.0-Pro模型及技术报告。
华为
据悉,openPangu是华为推出的开源AI模型品牌,openPangu-2.0-Pro模型总参数量达5050亿,激活参数为180亿。其旨在通过昇腾原生训练与推理技术,为业界提供最佳实践参考,助力充分发挥昇腾平台潜力,并进一步打造Agent时代强大的智能底座,加速人工智能领域的商业创新与生态繁荣。
华为openPangu-2.0模型
目前,openPangu-2.0-Pro模型相关组件已陆续上线开源平台。华为正邀请全球开发者、企业伙伴及研究人员下载使用,也可访问华为云MaaS模型即服务平台在线体验,华为称:欢迎广大用户反馈使用意见,助力开源生态持续进步。
ky开元科技了解到,openPangu-2.0模型提供Pro和Flash两个版本,均采用MoE混合专家架构。其中,Pro版总参数量5050亿,激活参数量180亿。Flash版总参数量920亿,激活参数量60亿,主要面向轻量化部署场景。两个版本统一支持512K超长上下文窗口,能够一次性处理数十万字内容,且均采用业界首个DSA+SWA独立分层混合架构,实现超稀疏注意力机制。
此前,openPangu-2.0-Flash模型已于6月30日开源。
版权所有,未经许可不得转载
-ky开元