本报讯(记者 易蓉)以开源生态打破国际垄断,推动国产算力发展。昨天,上海创智学院发布下一代大模型开源AI基础设施——自主可控的强化学习框架siiRL 2.0与低比特训练技术Metis。
该学习框架被誉为“下一代模型的动力引擎”,原生支持华为昇腾、沐曦等多款国产芯片,实现千卡级强化学习训练,为国内首次突破,其完全分布式设计未来可扩展至万卡集群,多模态和长上下文场景效率较主流框架快2-7倍。针对当前全球TOP模型中80%未开源,siiRL以开源生态推动多智能体协同与深度认知能力发展,助力AGI技术普惠。
为突破算力瓶颈,团队还提出Metis框架,将训练过程的计算精度,接近无损的从FP32压缩至FP4,首次揭示了大模型低精度训练的问题根因进而提出了接近无损的大模型预训练方法,为国产芯片指明并验证了低比特训练的路径,未来芯片可以针对低比特高吞吐计算优化架构,降低成本的同时提升国际竞争力。