英伟达挣疯了，H100单卡利润1000%，年销售55万个

在《金融时报》最近的一篇文章中，Nvidia 报告称，预计 2023 年将在全球范围内出货 550,000 个最新的 H100 GPU。对 GPU 的需求显然来自生成式 AI 热潮，但 HPC 市场也在争夺这些加速器。目前尚不清楚这个数字是否包括中国专用的 A800 和 H800 车型。

大部分 GPU 将流向美国科技公司，但英国《金融时报》指出，沙特阿拉伯已经购买了至少 3,000 个 Nvidia H100 GPU，阿联酋也购买了数千个 Nvidia 芯片。阿联酋已经在阿布扎比马斯达尔城的国有技术创新研究所使用 384 个 A100 GPU 开发了自己的开源大型语言模型，称为 Falcon。

旗舰级 H100 GPU（14,592 个 CUDA 核心、80GB HBM3 容量、5,120 位内存总线）售价高达 30,000 美元（平均），Nvidia 首席执行官黄仁勋 (Jensen Huang) 称其为首款为生成式 AI 设计的芯片。沙特大学建造了自己的基于 GPU 的超级计算机，名为 Shaheen III。它采用 700 个 Grace Hopper 芯片，结合了 Grace CPU 和 H100 Tensor Core GPU。有趣的是，GPU 被用来创建由无法在美国学习或工作的中国研究人员开发的LLM。

与此同时，生成式人工智能 (GAI) 投资继续为GPU 基础设施采购提供资金。据报道，在 2023 年前 6 个月，GAI 初创企业的融资比 2022 年全年增长了 5 倍以上，而自 2022 年第三季度以来，生成式 AI 基础设施类别已占融资的 70% 以上。

H100 的成本因封装方式以及您能够购买的数量而异。目前（2023 年 8 月）H100 PCIe 卡的零售价约为 30,000 美元（交货时间也可能有所不同。）粗略估计，2023 年市场支出为 165 亿美元，其中很大一部分将用于到英伟达。

根据《巴伦周刊》资深撰稿人 Tae Kim最近在社交媒体上发布的估计，Nvidia 制造 H100 的成本为 3,320 美元。这让英伟达获得基于 Nvidia H100 卡零售成本的 1000% 利润。这意味着 Nvidia 的每个高性能计算 (HPC) 加速器（最便宜的 PCIe 版本）的市场价格约为 25,000 至 30,000 美元，超过了每个芯片和外设的估计成本 3,320 美元（在板）组件。正如冲浪者会告诉您的那样，没有什么比在眼前看不到其他冲浪板的情况下冲浪更好的了。

然而，目前尚不清楚成本分析有多深入：如果这是一个纯粹的制造成本问题（在考虑良率的情况下平均每片晶圆和其他组件的价格），那么 Nvidia 仍然需要支付大量的的额外费用。

产品开发需要时间和资源；考虑到 H100 等产品的产品开发生命周期中的工程师和其他参与者，在得出最终的平均产品开发成本之前，还必须考虑 Nvidia 的研发成本。据 Glassdoor 称，Nvidia 电子硬件工程师的平均年薪约为 202,000 美元。这对于单个工程师而言 - H100 等芯片的开发可能需要许多专业工人花费数千个小时。所有这些也都必须考虑在内。

即便如此，不可否认的是，作为人工智能加速工作负载的领先公司是有优势的。众所周知，Nvidia GPU 很快就被抢购一空，甚至连它们堆放的机架都没有接触过。对于任何试图准确理解 AI HPC 热潮背后的物流意味着什么的人来说，本文尤其是终极游乐场。然而，这实际上意味着 Nvidia 人工智能加速产品的订单似乎已经售完到 2024 年。预计到 2027 年人工智能加速器市场价值将达到 1500 亿美元左右。

之所以出现这种情况，正如经常报道的那样，Nvidia 的合作伙伴台积电几乎无法满足 GPU 的需求。GPU 需要更复杂的 CoWoS 制造工艺（基板上晶圆芯片 — 台积电的“2.5D”封装技术，其中多个有源硅芯片（通常是 GPU 和 HBM 堆栈）集成在无源硅中介层上。）CoWoS 的使用添加了复杂的多步骤、高精度工程流程，从而降低了 GPU 生产速度。

这一情况得到了 Nvidia DGX 系统副总裁兼总经理 Charlie Boyle 的证实。Boyle 表示，延迟并非由于台积电错误计算需求或晶圆良率问题，而是由于芯片封装技术 CoWoS 。