Stability AI最近发布了一份新闻稿，宣布他们在Stable Diffusion 3模型的测试中取得了惊人的成绩：英特尔Gaudi2加速器的性能超越了英伟达H100，最多快55%。
测试细节
据新闻稿介绍，Stable Diffusion 3模型的参数范围在8亿到80亿之间，而本次测试所采用的是20亿参数版本。测试的对手包括英伟达的H100“Hopper” 80 GB、A100“Ampere” 80 GB以及英特尔Gaudi2 96 GB加速器。
性能对比
在保持加速器和节点数量不变的情况下，英特尔Gaudi2阵列使用2个节点、16个加速器和每个加速器16个恒定批处理大小（共256个），每秒可生成927幅图像，而H100阵列每秒生成595幅图像，A100阵列每秒生成381幅图像。
在节点数相同的情况下，Gaudi2阵列每秒可生成12654幅图像，每台设备每秒可生成49.4幅图像；而老一代A100 "Ampere" 阵列每秒可生成3992幅图像，每台设备每秒可生成15.6幅图像。
性能优化和展望
在使用80亿参数的Stable Diffusion 3模型进行推理测试时，Gaudi2芯片的推理速度与使用基本PyTorch的Nvidia A100芯片相近。然而，经过TensorRT优化后，A100芯片生成图像的速度比Gaudi2快40%。
Stability AI预计，经过进一步的优化，Gaudi2在该模型上的性能将很快超过A100。在早期测试中，他们发现，在使用基本PyTorch的SDXL模型进行测试时，Gaudi2在3.2秒内生成了30个步骤的1024x1024图像，而A100上的PyTorch需要3.6秒，而使用TensorRT的A100速度为2.7秒。
这一突破性的消息显示，Stability AI的新一代加速器Gaudi2在性能方面的表现将引领行业潮流，预示着人工智能技术将迎来更加强大的发展。
