来源：IT之家
12 月 11 日消息，AMD 早在 2021 年就制定了“到 2025 年将 EPYC 处理器和 Instinct 加速器的能效提高 30 倍”的目标。
根据 AMD 官方的说法，虽然还没到 2025 年，但他们现在距离这一成果已经只差临门一脚：配备最新 EPYC 9575F 和 Instinct MI300X 的机器相比 2020 年一台未公开的机器能效提高了 28.3 倍。
AMD 在测试中使用了 Llama3.1-70B（vLLM 0.6.1.post2、TP8 Parallel、FP8、连续批处理）模型，然后对比其推理性能的差异。
AMD 并未透露其测试中用到的这套 2020 年硬件规格，但很显然基于 Zen 2 系列的 EPYC 7002 处理器（单个 CPU 最多 64 核）以及基于初代 CDNA 架构的 Instinct MI100 加速器。
AMD 还表示，除了“给力”的硬件提升之外，这一成绩是通过架构改进和软件优化综合实现的成果，这是可以预料到的结果。
该公司最近刚推出了基于 CDNA 3 架构的 Instinct MI325X 加速器，配备了 288 GB HBM3E 内存子系统；AMD 明年还将推出基于 CDNA 4 架构的 Instinct MI355X，与 MI325X 相比性能（FP8 和 FP16）将提高约 80%。
除了 FP8 和 FP16 外，MI325X 还将支持 FP4 和 FP6 格式，其峰值性能将达到 9.2 PetaFLOPS（FP4），这对于许多大语言模型来说非常实用。也就是说，AMD 要想实现在 2025 年实现其计算平台能效提高 30 倍的目标并不难。
AMD 高级副总裁、AMD 公司研究员和产品技术架构师 Sam Naffziger 表示，“通过我们对硬件和软件协同设计中深思熟虑的 *** ，我们对实现 30x25 目标很有信心，并对未来充满期待，我们已经看到了在未来几年内实现大幅能效提升的有效途径。”
发表评论