OpenAI与Broadcom联合推出专为AI推理打造的定制芯片Jalapeno

OpenAI今日正式发布了一款名为Jalapeno的定制芯片将用于驱动其旗下的大语言模型。该处理器由OpenAI与Broadcom联合开发。Broadcom在定制芯片设计领域经验丰富此前曾协助谷歌开发TPU系列AI加速器谷歌还于今年4月将与Broadcom的芯片合作协议延长至2031年。英伟达的旗舰Rubin显卡既能处理训练任务也能承担推理工作负载。相比之下Jalapeno专为推理场景设计——即AI模型在响应用户查询时的运行过程。据OpenAI介绍早期测试结果显示Jalapeno在每瓦性能方面显著优于当前最先进水平这一表述可能是在暗指英伟达的芯片产品。目前OpenAI公开的关于Jalapeno设计细节仍十分有限。不过官方博客文章提到其底层架构旨在减少数据移动。这一表述暗示Jalapeno的架构可能着力降低逻辑电路与片外存储器之间的数据传输量——这正是推理集群中的主要性能瓶颈之一。AI芯片供应商通常采用多种方式来减少数据移动其中最常见的方案是为加速器配备大容量片上SRAM一种高速存储器。芯片集成的SRAM越多需要传输至片外存储器的数据量就越少。Cerebras Systems和Groq均采用了这一技术路线。OpenAI表示基于Jalapeno的推理集群将采用多项Broadcom网络技术其中包括Tomahawk芯片系列——该系列专为以太网交换机供电而设计支持同机架内服务器之间以及跨机架的数据传输。Broadcom最新推出的Tomahawk 6可实现每秒高达1.6太比特的流量处理并内置拥塞管理引擎能有效解决可能拖慢连接速度的网络瓶颈问题。OpenAI计划将Jalapeno芯片与Broadcom提供的网络设备部署于定制服务器机架中并与总部位于多伦多的数据中心设备设计服务商Celestia Inc.合作开发相关系统。Celestia还可协助客户优化服务器生产线。OpenAI计划于今年年底前上线首批Jalapeno服务器并逐步扩大该芯片的应用规模。其博客文章将Jalapeno定位为多代计算平台的第一步暗示未来可能还将开发更多推理处理器甚至为模型训练等相邻场景设计定制芯片。Jalapeno还有望为OpenAI开辟新的营收来源。英伟达目前以DGX一体机的形式销售显卡产品这类系统集成了CPU、散热模块及其他硬件。OpenAI具备推出搭载Jalapeno的竞争性一体机产品的实力甚至可借助此类系统为企业客户提供本地化部署其AI模型的能力。进军利润丰厚的AI硬件市场不仅有望推动OpenAI的营收增长还可能在其即将到来的公开募股过程中提升投资者兴趣。其主要竞争对手Anthropic近期已提交上市申请。对OpenAI而言一套推理硬件产品将成为路演过程中极具价值的差异化筹码尤其是在Anthropic可能抢先上市的情况下。QAQ1Jalapeno芯片和英伟达的GPU有什么区别A英伟达的旗舰Rubin显卡既能处理AI训练任务也能承担推理工作负载是一款通用型AI加速器。而Jalapeno专为推理场景设计即专注于AI模型响应用户查询时的运行过程。据OpenAI早期测试数据Jalapeno在每瓦性能方面显著优于当前最先进水平这可能意味着其能效比英伟达芯片更高。不过由于Jalapeno目前仅用于推理并不支持模型训练任务。Q2Jalapeno芯片在架构设计上有什么特别之处AOpenAI透露Jalapeno的底层架构着力减少数据移动即降低芯片逻辑电路与片外存储器之间的数据传输量。这是推理集群中的主要性能瓶颈。业内常见的解决方案是在芯片内集成大容量SRAM高速存储器Cerebras和Groq均采用了类似思路Jalapeno也可能沿用这一方向但OpenAI目前尚未公开更多具体设计细节。Q3OpenAI推出Jalapeno芯片对其上市有什么影响AJalapeno芯片有望帮助OpenAI打入利润丰厚的AI硬件市场并开辟新的营收来源。OpenAI可以效仿英伟达DGX一体机的模式推出搭载Jalapeno的AI推理一体机甚至支持企业客户在本地部署其AI模型。在竞争对手Anthropic已提交上市申请的背景下拥有自研推理硬件产品将成为OpenAI路演时的重要差异化优势有助于提升投资者信心。