生成式AI火爆全球之后,英伟达的AI芯片一张难求,就在英伟达重量级选手H100 AI芯片目前依然是一货难求的情况下,英伟达推出新款AI芯片H200。
H100目前算是算力市场硬通货,而H200则更强大,也是H100的升级版,号称性能飙升90%;全球最强 AI 芯片。
据英伟达的消息,H200拥有141GB的内存、4.8TB/秒的带宽,并将与H100相互兼容,推理速度几乎达到H100的两倍。H200预计将于明年二季度开始交付。
H200将在深度学习和大型语言模型(LLM)方面发挥更重要的作用,比如 OpenAI 的 GPT-4的训练。H200芯片相比上一代H100有了显著的飞跃,将被用于数据中心和超级计算机,处理诸如天气和气候预测、药物发现、量子计算等任务。
H200芯片基于英伟达的“Hopper”架构的 HGX H200 GPU,也是英伟达第一款使用 HBM3e 内存的芯片,这种内存速度更快,容量更大,因此更适合大型语言模型。英伟达称:“借助 HBM3e,英伟达 H200 以每秒 4.8 TB 的速度提供 141GB 的内存,与 A100 相比,容量几乎是其两倍,带宽增加了 2.4 倍。” 在人工智能方面,英伟达表示,HGX H200 在 Llama 2(700 亿参数 LLM)上的推理速度比 H100 快了一倍。HGX H200 将以 4 路和 8 路的配置提供,与 H100 系统中的软件和硬件兼容。
H200在大模型Llama 2、GPT-3.5的输出速度上分别是H100的1.9倍和1.6倍。而在高性能计算HPC方面的速度更是达到了双核x86 CPU的110倍。
H200的价格目前可能并不是最关心的,能不能拿到货才是关键,当然目前英伟达也没有公布价格。
此外还会有下一代升级版的Blackwell B100 GPU也在路上。
有数据称英伟达的H100的严重缺货问题至少会持续到2024年底。现在推出H200可能会占用一部分的产能,当然有会有一部分客户转投H200。这次英伟达推出新款AI芯片H200估计又是要卖断货的节奏。
但是10月份美国商务部工业和安全局(BIS)发布了针对芯片的出口管制新规,对高算力的AI芯片进行了更严格的管控。
所以不出意外的是,估计英伟达最强AI 芯片 H200还是会被美国限制进入我国市场,或者即使进入也是阉割版,而英伟达并不想放弃中国市场 ,所以也会针对性的推出满足法规的改良版AI芯片,不止是英伟达;英特尔也计划推出改良版。
此前,英伟达A100及H100两款型号被限制出口中国后,为中国专供的“阉割版”的A800和H800就是为了符合规定。
有消息报道称英伟达的改良版AI芯片由H100改良而来,HGX H20、L20 PCle和L2 PCle这三款改良版AI芯片很快就会发布。但是预测理论上整体算力要比英伟达 H100 GPU芯片降80%左右。