GPU霸权

当台湾半导体制造公司上个月公布财报时，这家全球最大的合同芯片制造商表示，除了人工智能芯片外，几乎每个产品类别的需求都有所减弱。

TSMC主要讨论的是为Nvidia制造的图形处理器[GPUs]，Nvidia主导了用于AI应用的半导体市场。对生成式人工智能的日益兴奋导致了Nvidia的高端H100 GPUs的短缺，这些GPUs最适合进行训练AI模型和为客户服务所需的并行计算。
Nvidia的产品现已成为技术行业最宝贵的资源。公司和初创企业都在疯狂地重新调整预算优先级，转向新的人工智能项目，并争夺GPUs。亚马逊网络服务的CEO Adam Selipsky本周在接受The Verge的采访时表示：“对于Nvidia的GPU，需求超过供应，” 同时强调AWS是客户持续获取Nvidia GPU容量的最佳地方。
尽管AWS对云计算世界有很好的了解，但实际上可能还有另一家公司对AI前线的发生情况有更好的了解：云服务提供商CoreWeave。
CoreWeave成立于2017年，通过云为初创企业和大型企业提供大规模的GPU容量。该公司与Nvidia有着紧密的合作关系，并是将其H100 GPUs推向市场的首批供应商之一。今年4月，Nvidia通过该初创公司的2.21亿美元的B轮融资对CoreWeave进行了投资。
Barron’s Tech最近与CoreWeave的联合创始人兼首席技术官Brian Venturo交谈，讨论GPU技术、市场状况、Nvidia的芯片生态系统以及AI初创企业的最大风险。
以下是与Venturo对话的编辑精选：
Barron’s：描述一下CoreWeave的业务和典型的客户？
Venturo：CoreWeave是一个专门的云供应商。我们不是用来托管您的网站的。我们的构建是为了为大规模的人工智能、机器学习、实时渲染视觉效果以及生命科学工作提供GPU加速计算。这通常是针对那些需要进行大量并行计算任务的客户。
GPU市场上正在发生什么？人工智能需求激增是何时开始的？
今年第一季度，在供应链中保障[GPU]分配和容量仍然相对容易。从4月初开始，市场变得非常紧张。交货时间从合理的时间，变为年底。这种变化在一周内发生。这不仅仅是云服务提供商，他们已经有了他们的分配。这是所有新增加的需求。这是来自大型企业和AI实验室。
在目前的环境中，Nvidia的顶级H100报告称几乎不可能购买。如果他们今天购买，客户何时可以获得H100 GPUs和容量？
任何在物流和资源规划中都保持合理的人都在看2024年的Q1到Q2。我们开始为明年的Q2和Q3的部署进行购买。
为什么客户抢购Nvidia的AI芯片，而不是Advanced Micro Devices和云供应商的产品？
Nvidia的优势有两方面。首先是硬件方面。没有人能像Nvidia那样制造芯片。其次是软件。对于初创企业来说，上市时间非常重要。如果您需要重新工具化您的整个技术栈来使用AMD或Google的TPU [Tensor Processing Unit]，那么您可能会浪费宝贵的时间，从而失去您的市场机会。
当Nvidia如此有远见地大量投资于CUDA[软件编程平台]生态系统时，他们非常有先见之明。他们基本上比其他人领先了10年。这不仅是Nvidia的10年，而是他们的客户和开发人员在该生态系统[使用软件工具和库]上进行构建，利用其他人的先前工作。我看不到其他人在短期或中期内超越Nvidia。
使用Google的TPU和AWS Trainium加速器的问题在于被锁定到一个非常具体的技术解决方案的供应商。对于初创企业来说，这可能不是最好的选择。您希望具有供应商灵活性，知道您可以在多个地方获得相同的东西。
[Nvidia的专有网络] InfiniBand目前也提供了最佳解决方案，以最小化延迟。其他提供商没有拥堵控制和功能来使工作负载获得最佳性能。
AI初创企业告诉你关于他们的增长计划是什么？
许多AI初创企业担心，当他们获得商业成功时，可能没有足够的GPUs可用来为推断服务[从AI模型中生成答案的过程]。对我来说，作为基础设施提供商，这是令人兴奋的。但从初创企业策略的角度看，保证获得这种计算几乎成为了一个二进制的商业风险。
Brian，感谢您的时间。
Source: Barron's Tech
By Tae Kim