这些提出了一个计划：这些厂商都有很多搭载了的服务器，由英伟达租用这些服务器，然后让英伟达的

  说简单点，以前微软会直接把云服务卖给中小公司，现在由英伟达进来当中间商。当然按照英伟达官方的说法，此举是为了“向云计算厂商展示在数据中心配置GPU的正确方法”[1]。

  服务器还是那个服务器，但经过英伟达“优化”后，客户就从微软优化到英伟达了。但就是这样一个匪夷所思的提议，除了亚马逊之外，各大云计算厂商居然都同意了。

  2023年3月，英伟达正式上线云计算服务DGX Cloud。事实上，经过英伟达工程师的优化后，DGX Cloud在训练大模型时表现得的确更好；在此基础上，英伟达还破例允许短期租赁。仅仅半年时间，英伟达就拿下了软件公司ServiceNow等大客户。

  科技公司愿意配合英伟达骚操作的真实原因，可能还是因为英伟达手中握有大模型时代最稀缺的资源——H100。

  当下，几乎所有的企业都只有少数的算力。连OpenAI创始人阿尔特曼，都曾在一次听证会上无奈地表示：“如果人们减少使用ChatGPT，我们会特别高兴，因为我们的GPU非常短缺[2]。”

  买了多少H100，还可以成为决定AI成就的重要的条件。这也让英伟达有了“挟H100以令诸侯”的底气。

  通常来说，科技公司会通过购买云计算厂商的服务，来满足算力需求。从2023年3月开始，微软Azure、亚马逊AWS等云计算厂商也先后上架了HGX H100的租赁服务，HGX H100是由4个或8个H100组成的服务器。

  然而，当下供需严重失衡，云计算厂商这点H100存货已经远远满足不了市场的胃口。2023年H1的财报中，微软专门更新了一条风险因素：如果没有办法获得足够多的AI芯片，云计算业务可能会中断。

  许多初创公司需要排队等待3-12个月，一旦友商抢在自己前面，那可能就是几十上百亿估值的损失。

  面对《》的采访，一位创业者将H100比作“稀土”。早一点的时候，他跑去请求美国国家科学基金会投资自己，仅仅因为基金会底下一个项目刚好有少数空置的H100。

  在硅谷，AI创业者打招呼的方式，都变成了“我认识一个有H100的家伙”——不知道的还以为在买卖毒品[4]。

  对需要自己训练大模型、追求大力出奇迹的企业来说，没有个上万块H100都不好意思出门。由前DeepMind联合发起人苏莱曼创办的InflectionAI，成立方才一年，已买了2.2万个H100；至于Meta这样财大气粗的公司，很可能会购买10万个甚至更多。

  对微软Azure等云计算厂商来说，每一家也都需要至少3万个H100。而其余几家私有云，还将消耗总计约10万个H100。

  测算后发现，仅美国大型科技公司和少数几家明星初创公司，需求量已达到约43万个[5]。如果再算上其他初创企业、研究机构、大学，乃至富裕国家的追逐、再加之黄牛、黑市等不可控因素，实际的需求很可能远大于这一个数字。然而据英国《金融时报》爆料，今年H100的出货量大约是55万个[6]。

  MPT-30B是第一个使用H100训练的开源LLM（大语言模型），实际训练只耗费了11.6天；相比之下，使用前一代的A100训练则需要28.3天[7]。如若换成参数规模更庞大的AI，例如1800B的GPT-4，效率差异会越来越明显。跑马圈地的时代，时间就是一切。

  除此之外，H100在模型推理上的效率也远高于A100。尽管H100的首发价约为3.3万美元，如今二手市场行情报价更上涨至4-5万美元；但若将H100和A100的性能分别除以各自的价格，能发现H100的性价比实际也高于A100。

  也正因为如此，即便美国限制了H/A100的对华出口，国内科技公司仍在抢购版的H/A800——尽管版的芯片间数据传输速度只有前者一半，意味着需要在大模型训练上花费更多时间。

  H100芯片需要用SK海力士的HBM内存，以及台积电的CoWoS封装——两者都因过于昂贵，此前并没能大规模市场化，预备产能并不多。由于产能爬坡尚需时间，有分析师预测H100的短缺至少会持续至明年一季度，也有的人觉得要到明年年底才有可能有所缓解[9]。

  去年二季度，消费市场萎靡不振加上挖矿企业扎堆倒闭，英伟达交出了一份不及格的财报，“GPU滞销，帮帮我们”的表情包一度遍地都是。一年之后，黄仁勋成功向长期资金市场展示了什么叫“反向暴雷”，同比营收暴涨854%，大幅超出了最乐观分析师的预测。

  今年8月，传奇工程师吉姆·凯勒对媒体评论道，“我不认为GPU是运行AI的全部，世界憎恶垄断[11]。”

  事实上，那些购买了最多H100的大型科技公司，基本都不太“安分”：微软、谷歌、Meta，或多或少都尝试过自研AI芯片。

  这让英伟达面临着一个异常尴尬的处境：在AI芯片领域，自己与“大客户”之间，未来几乎必有一战。

  大型科技公司们选择自研AI芯片，最初都源于一个非常质朴的需求——省钱，其中最典型的便是谷歌。

  早在2014年，谷歌已启动了自研芯片计划。彼时，OpenAI的首席科学家伊利亚还在谷歌工作，打造出了一套颇具颠覆性的AI模型。该模型脱胎于伊利亚的“大力出奇迹”理念，只需要灌入足够多且正确的数据，它便能更好地完成翻译、语音识别等工作。然而待到实际应用时，谷歌却犯了难：

  如果将AI服务安装至10亿多台安卓手机中，哪怕每个人每天只使用3分钟，谷歌都需要2倍于当前数据中心的算力。当时谷歌已经建了15个数据中心，每个造价上亿美金，“超级加倍”显然不切实际。

  最终，谷歌自研出了性能更强、功耗更低的TPU，极大的提升了单个数据中心的算力供应，以一种更经济实惠的方式解决了算力难题。

  TPU的出现，令黄仁勋如坐针毡，开始了“爆改GPU”，很快在性能上实现了反超，其最新成果便是H100。不过，H100的售价实在过于昂贵。

  如果按重量售卖H100，那么其每盎司售价将达到黄金的一半；即便对地球上最赚钱的科技公司而言，这笔“英伟达税”也堪称天文数字。

  然而，H100的实际制造成本并不高。据金融咨询公司Raymond James测算，H100的成本约为3320美金，仅占首发价的1/10，黄仁勋含泪赚10倍[12]。

  自研芯片的经济收益毋庸置疑，但除此之外其实还有另一个好处：垂直整合打造差异化。

  堆叠算力不是简单的往车里加汽油，需要仔细考虑软件适配性、自身业务需求等一系列问题。例如AI所使用的深度学习框架有多个派别，谷歌是TensorFlow，Meta用的PyTorch，而百度则有PaddlePaddle，硬件应该要依据不同框架做适配。

  专门定制的AI芯片，能更加紧贴自身AI业务的需求。所以Meta在今年又重启了自研芯片计划，针对PyTorch框架定制了全新的MTIA芯片。

  对大公司来说，考量芯片的核心其实不是算力，而是“单位美元提供的算力”，也就是成本。谷歌的TPU和特斯拉的Dojo都证明了，定制服务的成本是可接受的。

  眼下，“反抗的星火”已经点燃。据外媒爆料，大型科技公司的云计算团队，已开始频繁劝说客户改用其自研芯片，而不是英伟达的GPU。英伟达固然是目前为止绝对的赢家，但没人知道平衡何时会被打破。

  CoreWeave成立于2017年，最初是一家以太坊挖矿公司，后来转型做起了云计算业务。据CoreWeave创始人透露，2022年公司收入为3000万美金，仅有微软Azure的1/1133，在硅谷几乎没什么存在感。

  然而到了2023年，CoreWeave突然一夜成名，接连签下Inflection AI和Stability AI两个大客户，年营收预计将达到5亿美金，一年翻16倍。除此之外，微软甚至决定在未来几年花费数十亿美金购买其服务；其中仅2024年的订单，已有20亿美金。

  今年4月，英伟达参与了对CoreWeave的投资；但比起美元，英伟达还给了它一项更稀有的资源——H100。CoreWeave是全球第一家上线租赁服务的云计算企业，比微软Azure还要早一个月。

  H100近乎垄断的市场地位加之严重短缺的现状，让英伟达手中多了一层权力：他可以自由决定优先供货的对象。

  相比自己跟BigTech们同床异梦的塑料友谊，CoreWeave和英伟达是实打实的革命战友。因此，英伟达削减了对大型科技公司的H100供应，转而将这部分产能交给了CoreWeave等“自家兄弟”——它们曾确保不会自研芯片。

  从结果来看，这一战略不仅避免了囤积现象的出现，也确实抢到了大型科技公司的蛋糕：

  例如前文提到的Stability AI，在2022年底时一直将亚马逊AWS视作唯一云服务商；然而到了今年3月，困于算力不足的Stability AI，悄悄叩开了CoreWeave的大门。

  事实上，英伟达手中并非仅有CoreWeave一张牌。这位手握H100的投资人，还投资了同为云计算公司的Lambda Labs，以及三家从事大模型、应用开发的明星初创企业。

  在亩产十万大模型的当下，H100是比美元还珍贵的硬通货，也为英伟达创造了一个宝贵的窗口期：尽可能让更多公司用上H100，趁早建立起生态，“把朋友搞得多多的”。

  英伟达的一系列“骚操作”已经引来了美国反垄断机构的注意，同时，全球疯抢H100的现状，很可能不会长期持续下去。

  正如前文所述，H100产能受限是因为台积电和SK海力士的预备产能不足；随着新产线陆续落地，短缺状况会逐渐得到缓解。

  事实上，慢慢的变多的科技公司和研究机构都选择将大模型开源。随市场上的优质开源模型慢慢的变多，初创企业和研究机构可以不必再自己动手训练，转而直接下载开源模型，依据自己业务需求来做开发或者推理。

  Meta发布开源大模型Llama后，斯坦福、卡内基梅隆等多所高校的研究人员就曾联合起来，以此为基础打造了开源大模型Vicuna，很快便突破了200万次下载。

  在肉眼可见的未来，算力的主要使用场景很有可能会从训练转向推理——届时，H100便不再是独孤求败了。因为不同于追求极致效率的训练场景，AI推理其实更看重性价比。

  另一方面，以大模型为代表的生成式AI如今面临的问题就在于：面对高昂的算力成本，除了英伟达，大家都还没赚到钱。

  2006年CUDA平台推出时，英伟达以超脱于行业的前瞻性推动了AI的飞速进步。而如今，英伟达气势如虹的业绩似乎也是一种拷问：它是不是已经从AI的推动者，变成了AI前进的阻力？

  文章出处：【微信号：IC大家谈，微信公众号：IC大家谈】欢迎添加关注！文章转载请注明出处。

  的基础上进行一次大升级，发布新一代H200芯片。H200拥有141GB的内存、4.8TB/秒的带宽，并将与

  两倍！ /

  药物设计、量子计算和生成式 AI 等领域。 为了纪念杰出的数学家David

  Blackwell架构被明确设计用来满足现代人工智能工作负载日渐增长的计算和带宽需求。随着

  是两款不同的AI芯片，它们各自具有独特的特点和优势。以下是关于这两款芯片的一些比较。

  的年利用率保持在61%，那么单台设备每年将耗电3740千瓦小时左右。如果

  GPU 的排队时间可能会缩短。数据中心提供商和前比特币挖矿公司正在开设具有

  GPU 的基础版本基础上做修改的，采用的是最新架构，但性能大幅度缩减。

  的20% /

  和新的 NVIDIA L40S。我们将跳过NVIDIA L4 24GB，因为它更像是低端推理卡。

  最强替代者 /

  GPU的出货量超过了900吨。并且预计其在未来几个季度的GPU销量将大致相同，因此

  一较高下？ /

  据Tae Kim透露，金融咨询公司Raymond James推算，每个

  芯片的费用为3320美元。但是，目前还不清楚bom成本分析进行得有多深入。如果这是纯粹的制造成本（晶片和其他部件的平均收益率）的问题，

  的区别 /

  基于IRU3073_Typical Application直流到直流单输出电源的参考设计

  求求各路大神帮忙：Multism数字电子钟仿真，不报错也不出结果是什么原因？