,在2022年台北国际电脑展上,英伟达宣布推出液冷A100 PCIe GPU,以满足客户对高性能碳中和数据中心的需求这是主流服务器GPU中的首例
与此同时,英伟达宣布,多家领先厂商采用了全球首批基于英伟达自研数据中心CPU的系统设计,超过30家全球技术合作伙伴在Computex上发布了首批基于英伟达Jetson AGX Orin的edge AI和嵌入式计算系统。
目前,英伟达正围绕数据中心,CPU,GPU,DPU三大芯片支柱进行开发,帮助合作伙伴构建新一轮数据中心转型浪潮,打造现代化AI工厂其中,CPU管理整个系统的运行,GPU负责提供核心计算能力,DPU负责处理安全网络通信,提供网络内置计算能力,优化整体性能
英伟达硬件工程高级副总裁布莱恩·凯莱赫透露,英伟达将每个芯片架构的更新节奏设定为两年,一年专注于x86平台,一年专注于Arm平台无论客户和市场偏好如何,Nvidia架构和平台都将支持x86和Arm
英伟达加速计算业务副总裁伊恩·巴克表示,如果世界上所有的人工智能,高性能计算和数据分析工作负载都在GPU服务器上运行,英伟达估计每年将节省超过12万亿瓦时的电力,相当于每年减少200万辆汽车上路。
1.液冷GPU:相同的性能,更低的功耗
液冷技术诞生于大型机时代,成熟于AI时代如今,液冷技术已经以直接芯片冷却的形式广泛应用于全球高速超级计算机Nvidia GPU在AI推理和高性能计算方面比CPU节能20倍,加速计算将采用液冷技术也是顺理成章的
英伟达估计,如果世界上所有运行AI和高性能计算的CPU服务器都切换到GPU加速的系统,每年可以节省高达11万亿瓦时的能源节省下来的能源可供150多万套房屋使用一年
今天,Nvidia发布了PCIe GPU,这是第一个采用直接芯片冷却技术的数据中心这种液冷GPU可以在保持相同性能的同时降低能耗目前已经进入试用阶段,预计今年夏天正式发售
Equinix是一家全球服务提供商,管理着240多个数据中心,一直在验证A100 80GB PCIe液冷GPU在其数据中心的应用,这也是该公司实现可持续冷却和热量捕捉的全面计划的一部分。
在单独的测试中,Equinix和Nvidia都发现,采用液冷技术的数据中心的工作量可以与风冷设施持平,而能耗却降低了30%左右英伟达估计液冷数据中心的PUE可能会达到1.15,远低于风冷PUE的1.6
同样的空间,液冷数据中心可以让计算量翻倍这是因为A100 GPU只使用一个PCIe插槽,而风冷A100 GPU需要两个PCIe插槽
今年晚些时候,华硕,新华三,浪潮,宁昌,超微,超融合等至少十几家系统厂商将在他们的产品中使用液冷GPU
根据消息显示,英伟达计划明年推出的A100 PCIe卡搭载了基于英伟达Hopper架构的H100 Tensor Core GPU最近,英伟达计划将液冷技术应用于自己的高性能数据中心GPU和英伟达HGX平台
第二,基于NVIDIA Grace CPU的几十款服务器将于明年出货。
Grace是NVIDIA的第一款数据中心CPU,专为AI工作负载打造该芯片预计将于明年上市,并将提供两种外形
上图左侧的Grace—Hopper是单个超级芯片模块,旨在加速大规模AI,高性能计算,云和超大规模工作负载Grace CPU和Hopper GPU之间实现了芯片级直连,CPU和GPU通过带宽高达900 GB/s的互联技术NVLink—C2C进行通信
布莱恩·凯莱赫表示,Grace向Hopper传输数据的速度将比任何其他CPU快15倍,并将Hopper的工作数据大小增加到2TB。
同时,Nvidia还提供了一个Grace超级芯片,通过NVLink—C2C将两个Grace CPU芯片互联Grace拥有144个高性能Armv9 CPU内核,内存带宽1TB/s,能效是现有服务器的两倍整个模块,包括1TB内存,功耗只有500W
除了NVLink—C2C,NVIDIA还支持今年早些时候发布的小芯片标准UCIe,目前仍在开发中。
今天,Nvidia发布了针对标准数据中心工作负载的四款Grace参考设计:
1.CGX,对于云游戏,
2.OVX,对于数字双胞胎和Omniverse
3.HGX,用于高性能计算和超级计算,
4.HGX人工智能训练,推理和高性能计算奖。
接着,英伟达宣布推出HGX格雷斯和HGX格蕾丝·赫柏系统,将提供格蕾丝·赫柏和格雷斯CPU超级芯片模块及其相应的PCB参考设计两者都是为OEM 2U高密度服务器机箱设计的,英伟达合作伙伴可以参考修改
华硕,富士康工业互联网,技嘉,QCT,超微和威温的几十种服务器型号的Grace系统预计将于2023年上半年开始发货。
第三,发布了第一批Jetson AGX Orin服务器和设备。
英伟达艾萨克机器人平台有四大支柱:一是创造AI,二是在虚拟世界中模拟机器人的操作,然后在现实世界中进行尝试,三是打造实体机器人,四是管理部署机器人队列的全生命周期。
在构建真实世界的物理机器人并进行部署方面,NVIDIA Jetson已经成为edge和机器人的AI平台,拥有超过100万名开发者,超过150家合作伙伴,超过6000家公司使用Jetson进行量产。
凭借NVIDIA Ampere Tensor Core GPU,12 Arm Cortex—A78AE CPU,新一代深度学习和视觉加速器,高速接口,更快的内存带宽和多模式传感器,Jeon Agxorin每秒可提供275万亿次运算,相当于一台手持服务器。
在相同的引脚兼容性和整体尺寸下,其处理能力比上一代NVIDIA AGX Xavier高8倍。
Jeon Agxorin开发套件自3月起通过分销商在全球范围内销售,生产模块将于7月销售,起价为399美元Orinx模块尺寸仅为70mm x 45mm,将于9月上市
针对edge AI和嵌入式计算应用,阳炎,凌华,研华科技等全球30多家英伟达合作伙伴在Computex上发布了首批基于英伟达Jetson AGX Orin的生产系统,涵盖服务器,edge设备,工业PC,载板,AI软件等多个类别。
这些产品将提供风扇和无风扇配置,并提供各种连接和接口选项,并将增加适用于重要经济领域或坚固应用的规格,如机器人,制造,零售,交通,智能城市,医疗保健等。
为了加快AMR的开发,NVIDIA还推出了Isaac Nova Orin,这是一种针对AMR的高级计算和传感器参考设计。
Nova Orin由2个Jetson AGX Orin组成,支持2个立体摄像机,4个广角摄像机,2个2D激光雷达,1个3D激光雷达,8个超声波传感器和其他传感器参考架构将于今年晚些时候推出
Jetson平台还拥有全方位的Nvidia软件支持为了满足特定用例的需求,英伟达软件平台加入了:Nvidia is AAC Sim on Omniverse for robotics,GPU加速SDK丽娃for building voice AI应用程序,DeepStream,一个用于AI多传感器处理,视频,音频和图像理解的流分析工具包,以及一个应用程序框架,开发者工具组和合作伙伴生态系统Metropolis,用于通过将视觉数据与AI集成来提高行业运营效率和安全性