今日凌晨，英特尔在Intel Vision 2024大会发布AI加速芯片Gaudi 3。据英特尔公司首席执行官帕特·基辛格（Pat Gelsinger）介绍，英特尔Gaudi 3在Llama大模型的基准测试中，比英伟达H100的训练时间快50%、推理性能提升50%、推理能效表现提升40%。

英特尔提供的测算数据显示，英特尔Gaudi 3的平均性能预计在三个方面优于英伟达H100。

一是训练时间，相比英伟达H100，英特尔Gaudi 3对70亿参数和130亿参数的Llama2，以及1750亿参数的GPT-3大模型的训练时间缩短50%。

二是推理吞吐量（单位时间内能处理的数据量）和推理能效。相比英伟达H100，英特尔Gaudi 3对于70亿参数和700亿参数的Llama大模型，以及1800亿参数的Falcon大模型进行推理时，推理吞吐量提升50%，推理能效提升40%。在较长的输入和输出序列上，Gaudi 3展现出更强的推理性能优势。

三是推理速度。与英伟达H200相比，英特尔Gaudi 3对70亿参数和700亿参数的Llama大模型，以及1800亿参数的Falcon大模型的推理速度提高了30%。

据悉，英特尔Gaudi 3采用5nm制程。与上一代产品相比，英特尔Gaudi 3的BF16 AI计算能力提升4倍，FP8计算能力提升2倍，内存带宽提升1.5倍。在拓展性上，基于Gaudi3部署的AI系统可通过以太网的通用标准连接多达数万个加速器，支持用户从单个节点扩展到拥有数千个节点的集群、超级集群和超大集群，进行大规模的推理、微调和训练。

英特尔Gaudi 3将于2024年第二季度面向OEM厂商出货。