近期,AI芯片初创企业Cerebras再次成为行业热点。该公司推出了全新的「第三代晶圆级引擎」——WSE-3,其强大性能引起了业界的广泛关注。
据悉,WSE-3的性能实现了惊人的提升。相较于上一代WSE-2,其性能直接翻倍,而功耗却保持在相同水平。这一突破性进步再次彰显了Cerebras在AI芯片领域的领先地位。
WSE-3采用了4万亿晶体管的5纳米工艺制程,工艺水平达到了惊人的高度。更令人惊讶的是,WSE-3打造的单个超级计算机能够训练出高达24万亿参数的模型,相当于GPT-4/Gemini的十倍之多,这无疑将推动AI模型的发展迈入全新阶段。
WSE-3拥有惊人的90万个核心数量,并配备了44GB的片上SRAM存储,其峰值性能达到125 FP16 PetaFLOPS。这一性能水平相当于52块英伟达H100 GPU的总和,再次证明了Cerebras在AI计算领域的强大实力。
据悉,WSE-3在晶体管数量和芯片面积上也实现了巨大突破。与英伟达H100相比,WSE-3的晶体管数量高达40000亿个,是H100的50倍之多;而芯片面积更是达到了惊人的46225平方毫米,是H100的57倍。这一巨大提升使得WSE-3在处理复杂AI任务时具备了更强大的能力。
此外,WSE-3的每个核心都可以独立编程,并针对神经网络训练和深度学习推理中所需的基于张量的稀疏线性代数运算进行了优化。这意味着研究团队可以在WSE-3的支持下,以前所未有的速度和规模训练和运行AI模型,无需担心复杂的分布式编程技巧。
由WSE-3组成的CS-3超级计算机能够训练出比GPT-4和Gemini大10倍的下一代前沿大模型。这一能力的提升将极大推动AI技术的发展和应用领域的拓展。