全球人工智能算力芯片龙头英伟达周二宣布 ,推出专为长上下文工作负载设计的专用GPU Rubin CPX,用于翻倍提升当前AI推理运算的工作效率,特别是编程、视频生成等需要超长上下文窗口的应用。
英伟达CEO黄仁勋表示 ,CPX是首款专为需要一次性处理大量知识(数百万级别tokens),并进行人工智能推理的模型而构建的芯片 。
需要说明的是,Rubin就是英伟达将在明年发售的下一代顶级算力芯片,所以基于Rubin的CPX预计也要到2026年底出货。下一代英伟达旗舰AI服务器的全称叫做NVIDIA Vera Rubin NVL144 CPX——集成36个Vera CPU 、144块Rubin GPU和144块Rubin CPX GPU。
(NVIDIA Vera Rubin NVL144 CPX机架与托盘 ,来源:公司博客)
英伟达透露,搭载Rubin CPX的Rubin机架在处理大上下文窗口时的性能,能比当前旗舰机架GB300 NVL72高出最多6.5倍 。
据悉 ,下一代旗舰机架将提供8exaFLOPs的NVFP4算力,比GB300 NVL72高出7.5倍。同时单个机架就能提供100TB的高速内存和1.7PB/s的内存带宽。
言归正传,英伟达之所以要在Rubin GPU边上再配一块Rubin CPX GPU ,自然是为了显著提升数据中心的算力效率——用户购买英伟达的芯片将能赚到更多的钱。英伟达表示,部署价值1亿美元的新芯片,将能为客户带来50亿美元的收入 。
为何需要不同的GPU?
作为行业首创之举 ,英伟达的新品在硬件层面上分拆了人工智能推理的计算负载。
英伟达介绍称,推理过程包括两个截然不同的阶段:上下文阶段与生成阶段,两者对基础设施的要求本质上完全不同。
上下文阶段属于计算受限(compute-bound) ,需要高吞吐量的处理能力来摄取并分析大量输入数据,从而生成首个输出token 。相反,生成阶段则属于内存带宽受限(memory bandwidth-bound),依赖高速的内存传输和高带宽互联(如 NVLink) ,以维持逐个token的输出性能。
当前顶级的GPU都是为了内存和网络限制的生成阶段设计,配备昂贵的HBM内存,然而在解码阶段并不需要这些内存。因此 ,通过分离式处理这两个阶段,并针对性地优化计算与内存资源,将显著提升算力的利用率 。
据悉 ,Rubin CPX专门针对“数百万tokens”级别的长上下文性能进行优化,具备30petaFLOPs的NVFP4算力、128GB GDDR7内存。
英伟达估计,大约有20%的AI应用会“坐等 ”首个token出现。例如解码10万行代码可能需要5-10分钟 。而多帧、多秒的视频 ,预处理和逐帧嵌入会迅速增加延迟,这也是为什么当前的视频大模型通常仅用于制作短片。
英伟达计划以两种形式提供Rubin CPX,一种是与Vera Rubin装在同一个托盘上。对于已经下单NVL144的用户 ,英伟达也会单独出售一整个机架的CPX芯片,数量正好匹配Rubin机架 。
(文章来源:财联社)
持有多少股票可以配债:个人炒股如何加杠杆投资-外交部发言人介绍习近平主席出访有关安排和中方期待
股票上杠杆:个人炒股如何加杠杆-最高时速72英里!马斯克:特斯拉Model Y首次实现全自动驾驶交付
股票融资利息一般是多少:实盘股票配资平台-AI推理芯片爆发 谁将是下一个寒武纪?
融资股票利率多少:a股杠杆最高多少-全球市场:美股三大指数集体收涨 苹果大涨超5% 中国金龙指数涨近1%
股票融资比例:炒股怎么配杠杆-沪深交易所最新发布:ST股将告别5%限制!
什么是炒股加杠杆融资:买股票如何开户费用是多少-习近平在广东省梅州市考察调研
配查信-配查信官网-河南配资公司_广东股票配资网提示:文章来自网络,不代表本站观点。
文丨财联社目前共有18家上市券商发布了半年报。其中,浙商证券上半年实现营收84.56亿元,光大证券、东方...
3月24日,易方达国证自由现金流ETF公开发售。该产品跟踪国证自由现金流指数,这个指数是什么?有哪些优势?投资价值如何?...
记者王珍提振消费被列为今年政府工作任务之首,“两会”结束不到一周,中共中央办公厅、国务院办公厅就发布了...
记者|赵阳戈年初,证监会就修改《证券发行与承销管理办法》部分条款向社会公开征求意见,市场也将注意力投向了...
界面新闻记者|杨志锦在支持科...
近日,*ST中润(000506,全称为“中润资源股份有限公司”,以下简称“中润资源”)发布公告称,拟更换会计师事务所,由...
界面新闻记者|王颖界面新闻编辑|张一诺...
城堡投资创始人、首席执行官肯·格里芬在“中国发展高层论坛2025年年会”上表示,特朗普出台的一系列政策包括防止非法移民进...
记者王珍中国国际经济交流中心副理事长、国务院发展研究中心原副主任王一鸣周一在“中国发展高层论坛2025...
10月28日,《中共中央关于制定国民经济和社会发展第十五个五年规划的建议》(以下简称《建议》)全文公布,《建议》明确...
3月20日,深海科技概念持续走高,巨力索具、神开股份直线拉升涨停,走出6连板,海默科技、大连重工、赛福天、亚星锚链等十余...
华金证券迎来新任研究所所长。3月20日,中证协官网已更新相关执业注册信息,华金证券已聘任杨烨辉担任公司总裁助理以...
3月24日,海洋王照明科技股份有限公司(以下简称“海洋王”,002724.SZ)早盘一字跌停,此后股价拉涨,尾盘封涨停板...
记者辛圆3月25日,博鳌亚洲论坛旗舰报告《亚洲经济前景及一体化进程2025年度报告》(以下简称《报告》...
记者辛圆给补贴、建平台,为了吸引更多高层次人才,各地纷纷放出“大招”。据央广网周一发布消息,湖...