晶圆级芯片领域的创新企业Cerebras近日推出了其最新一代芯片WSE-3,宣称相较上一代产品WSE-2,在相同功耗下性能翻倍。
WSE-3参数
制程技术:采用台积电5纳米制程。
晶体管数量:拥有4万亿个晶体管,展现了其强大的计算能力。
AI核心:内置900,000个AI核心,为深度学习任务提供强劲支持。
内存容量:配备44GB片上SRAM缓存,并提供可选的1.5TB、12TB和1.2PB三种不同容量的片外内存选择。
峰值AI算力:达到了125 PFLOPS,为处理复杂AI任务提供了强大计算支持。
CS-3系统
Cerebras表示,基于WSE-3的CS-3系统凭借其高达1.2PB的内存容量,可以训练比GPT-4和Gemini大10倍的下一代前沿模型。该系统还具备惊人的容纳参数规模能力,能够在单个逻辑内存空间中容纳24000T参数规模的模型,极大地简化了开发人员的工作。
超大规模AI需求
CS-3系统特别适用于超大规模AI需求,其紧凑的四系统集群可以在一天内微调70B模型。而在使用最大规模的2048个CS-3系统集群时,更能在一天内完成Llama 70B模型的训练。
卓越易用性
Cerebras强调CS-3系统具有卓越的易用性,大模型训练中所需的代码相较GPU减少97%,仅需565行代码就能实现GPT-3大小模型的标准实现
全球合作
阿联酋G42财团已经宣布将打造基于Cerebras CS-3的Condor Galaxy 3超算,该超算包含64个系统,可提供8 exaFLOP的AI算力,为智能计算领域带来了全新的突破。
Cerebras WSE-3的推出,标志着晶圆级芯片领域的又一次创新,为AI计算提供了更加强大的支持,将为未来的科技发展开辟更为广阔的前景。