AI GPU需求太猛,英伟达(NVDA.US)催促SK海力士提前6个月备好HBM4

发布日期:2024-11-04 21:05    点击次数:86

(原标题:AI GPU需求太猛,英伟达(NVDA.US)催促SK海力士提前6个月备好HBM4)

智通财经APP获悉,韩国大型财团之一的SK集团董事长崔泰源在周一接受采访时表示,英伟达首席执行官黄仁勋此前要求SK集团旗下存储芯片制造巨头SK海力士(SK Hynix)提前六个月推出其下一代高带宽存储产品HBM4。SK海力士10月份在财报中曾表示,计划在2025年下半年向大客户(市场猜测为英伟达以及AMD)提供HBM存储系统。SK海力士发言人周一则表示,这一时间表确实比最初的目标要快,但没有进一步进行阐述。

黄仁勋亲自要求SK海力士加快下一代HBM——HBM4存储系统的交货速度,凸显出对英伟达对于开发愈发先进的人工智能GPU系统的更高容量、更节能HBM存储系统的无比强劲需求,以及更加凸显出OpenAI、Anthropic、微软、亚马逊以及Meta等人工智能、云计算以及互联网大厂们对于AI训练/推理算力几乎无止境的“井喷式需求”,迫使英伟达(NVDA.US)核心芯片代工厂台积电(TSM.US)加班加点扩大Blackwell AI GPU产能,以及纷纷要求英伟达以更快速度推出性能更高、存储容量更庞大、推理效率更强大且更加节能的下一代AI GPU的研发进程。

英伟达计划于2026年推出下一代AI GPU架构——Rubin,预计Rubin AI GPU将搭载HBM4存储系统。据不完全统计,英伟达目前在全球数据中心AI芯片市场占据80%-90%堪称垄断的市场份额,预计AMD占比接近10%,其他份额则为谷歌TPU、亚马逊自研ASIC等大厂自研AI芯片。

作为英伟达H100/H200以及近期批量生产的Blackwell AI GPU的核心HBM存储系统供应商,SK海力士一直在引领全球存储芯片产能竞赛,以满足英伟达、AMD以及谷歌等大客户们满足对HBM存储系统的爆炸性需求以及其他企业对于数据中心SSD等企业级存储产品的需求,这些存储级的芯片产品对于处理海量数据以训练出愈发强大的人工智能大模型以及需求剧增的云端AI推理算力而言堪称核心硬件。

但SK海力士也面临着来自三星电子以及美国存储巨头美光(MU.US)日益激烈的竞争压力。三星上周在财报中表示,在与一家主要客户(可能是英伟达)达成供应协议方面取得了积极进展,此前该公司长期遭遇产品测试延误并且在上一次测试中未能通过英伟达资质测试。三星补充表示,该公司正在与主要客户进行谈判,有可能明年上半年批量生产“改进后”的HBM3E产品。三星还计划在明年下半年生产下一代HBM——HBM4存储,以跟上竞争对手SK海力士的步伐。

在美国,美国本土存储巨头美光乃另一获得英伟达供应资质的HBM供应商,另一家为SK海力士。在今年2月,美光已经开始量产专为人工智能和高性能计算所设计的HBM3E存储系统,并表示英伟达一部分H200以及Blackwell AI GPU将搭载美光HBM3E。随后,美光CEO还多次表示,美光今明两年的HBM产能已销售一空。美光还表示,正在加速推进下一代的HBM4和HBM4e研发进程。

在与崔泰源接受采访几乎同一时间,SK海力士首席执行官郭鲁正在首尔举行的2024年SK人工智能峰会上表示,该公司计划今年年底前向一位大客户(市场猜测为英伟达)提供最新的12层HBM3E,并计划在明年初运送更先进的16层HBM3E存储样品。并且这位首席执行官在采访中还透露,英伟达AI GPU供应仍然难以满足需求,并且英伟达多次要求SK海力士加快HBM3E供应规模。

HBM需求炸裂,堪称“印钞机”

英伟达创始人兼CEO黄仁勋在前不久的采访中曾透露,Blackwell架构AI GPU已全面投产,且需求非常“疯狂”;与此同时,随着AI GPU需求爆表,HBM存储系统需求也随之激增,并且未来几年可能持续供不应求。

据了解,来自天风国际的知名科技产业链分析师郭明錤最新发布英伟达Blackwell GB200芯片的产业链订单信息,指出微软目前是全球最大的GB200客户,Q4订单激增3-4倍,订单量超过其他所有的云服务商总和。

郭明錤在一份最新报告中表示,Blackwell AI GPU的产能扩张预计在今年第四季度初启动,届时第四季度的出货量将在15万到20万块之间,预计2025年第一季度出货量将显著增长200%到250%,达到50万到55万块。这意味着,英伟达可能仅需几个季度就能实现百万台AI服务器系统的销量目标。

根据华尔街金融巨头花旗集团的最新预测数据,到2025年,美国四家最大规模科技巨头的数据中心相关资本支出预计将同比增长至少40%,这些庞大的资本支出基本上都与生成式人工智能挂钩,意味着ChatGPT等AI应用的算力需求仍然庞大。花旗集团表示,这意味着巨头们对于数据中心的支出规模有望在本已强劲的2024支出规模之上继续大举扩张,该机构预计这一趋势将为AI GPU当之无愧的霸主英伟达以及数据中心互连(DCI)技术提供商们股价持续带来非常重磅的正面催化剂。

HBM存储系统与AI芯片霸主英伟达所提供的核心硬件——H100/H200/GB200 AI GPU以及广泛的AI ASIC芯片(比如谷歌TPU)配合搭载使用,HBM与英伟达AI GPU共同组合成所谓的“NVIDIA AI GPU服务器”。HBM以及AI GPU对于驱动ChatGPT以及Sora等重磅人工智能应用可谓必不可少,AI GPU需求越强劲,则说明HBM存储需求愈发猛烈。

HBM是一种高带宽、低能耗的存储技术,专门用于高性能计算和图形处理领域。HBM通过3D堆叠存储技术,将堆叠的多个DRAM芯片全面连接在一起,通过微细的Through-Silicon Vias(TSVs)进行数据传输,从而实现高速高带宽的数据传输。HBM通过3D堆叠技术,将多个存储芯片堆叠在一起,不仅大幅减少了存储体系空间占比,也大幅降低了数据传输的能耗,高带宽则能够显著提升数据传输效率,使得AI大模型能够24小时不间断地更高效地运行。

尤其是HBM存储系统具有无可比拟的低延迟特性,能够快速响应数据访问请求。GPT-4等生成式AI大模型通常需要频繁访问大数据集以及进行无比繁重的大模型推理工作负载,强大的低延迟特性能够极大程度提高AI系统的整体效率和响应速度。在AI基础设施领域,HBM存储系统全面捆绑英伟达H100 /H200 AI GPU以及AMD MI300X等AI GPU,以及正在批量生产的英伟达B200和GB200 AI GPU,以及AMD MI325X等。

华尔街大行高盛发布研报称,由于企业无比强劲的生成式人工智能(Gen AI)需求推动了更高的AI服务器出货量和每个AI GPU中更高的HBM密度,该机构大幅提高了HBM总市场规模预估,现在预计市场规模将从2023年到2026年间以复合年增速100%大幅增长,预计到2026年增长至300亿美元。高盛预计,HBM市场供不应求的情况未来几年将持续,SK海力士、三星和美光等主要玩家将持续受益。