您正在使用IE低版浏览器,为了您的雷峰网账号安全和更好的产品体验,强烈建议使用更快更安全的浏览器
此为临时链接,仅用于文章预览,将在时失效
芯片 正文
发私信给陈致远
发送

0

性能是其它AI PC的60倍,英伟达如何变革端侧AI?

本文作者: 陈致远 2024-01-09 18:04
导语:截至今日,英伟达已拥有超过1亿台RTX AI PC和工作站的用户。

2024年,AI PC无疑是消费级市场中最受关注的焦点,同时端侧大模型及生成式AI的热度仍在持续上升。随着越来越多AI PC新品的发布,PC产业正在迎来一场新的革命。

而这场革命中必然少不了英伟达。就在今日,英伟达于CES 2024中发布了GeForce RTX 40 SUPER系列产品,并正式对外宣布已优化的软件、库及工具。

英伟达新的软硬件产品不仅将为游戏玩家带来全新的AI游戏体验,还将推动端侧生成式AI的普及。

性能是其它AI PC的60倍,英伟达如何变革端侧AI?

RTX 40 SUPER系列发布,英伟达加入AI PC主战场

AI PC,是指具备集成软硬件混合式智能学习与推理能力的计算机。

但目前业内对AI PC的定义仍较为模糊,以西南证券的研究报告为例,其将AI PC定义为:在架构设计上,AI PC最重要的是嵌入了AI芯片,形成“CPU+GPU+NPU”的异构方案。

不过,英伟达在不使用NPU的情况下,仍能让PC表现出优异的性能,其表示:“以宏碁、华硕、戴尔、惠普、联想、微星等合作伙伴发布全新RTX AI笔记本电脑为例,与使用NPU相比,RTX AI笔记本电脑的性能可提升20-60倍。”

不过无论AI PC该如何被定义,在这一波浪潮中,产品性能才是王道,拥有创造和运行生成式AI的生态才是标准。这点也可以从其新款RTX 40 SUPER系列产品看出。

雷峰网(公众号:雷峰网)了解到,本次发布性能最高的GeForce RTX 4080 SUPER,在AI工作负载方面,生成视频的速度比RTX 3080 Ti快1.5倍,生成图像的速度比RTX 3080 Ti快1.7倍。SUPER GPU的Tensor Core可提供最高可达836 AI TOPS。

而新发布的GeForce RTX 4070 Ti SUPER则是拥有更多核心,显存容量增至 16GB,显存位宽为256 bits。比RTX 3070 Ti快1.6倍,打开DLSS 3后,比RTX 3070 Ti快2.5 倍。而RTX 4070 SUPER,则是核心数量比RTX 4070多20%,使其仅使用RTX 3090的一小部分功耗就实现了超越RTX 3090的性能,借助DLSS 3,它的性能领先优势将扩大到1.5倍。

性能是其它AI PC的60倍,英伟达如何变革端侧AI?

基于强大的AI性能,英伟达的GeForce GPU将给包括游戏玩家在内的用户带来全新的AI体验。

游戏玩家的全新体验和端侧AI的全面普及

英伟达推出了NVIDIA ACE(Avatar Cloud Engine)微服务,它使用生成式AI让游戏NPC变得更真实,旨在增强用户与游戏NPC之间的交互。具体表现为,用户以自然语言对游戏NPC说话后,NPC并无预设回复,而是由大模型生成NPC的反应、回复内容、语音、口型、神态。背后的大模型可以运行在云上,也可以运行在PC端。

同时,英伟达发布了NVIDIA RTX Remix,用于创建经典游戏RTX重制版的平台。测试版将于本月底发布,提供生成式AI工具,可将经典游戏中的基本纹理转化物理精准的4K高精度材质。

帧率提升方面,NVIDIA DLSS 3支持帧生成技术(Frame Generation),可利用AI将帧率提高到原生渲染的4倍,据了解,这将用于已发布的14款全新RTX游戏中的十几款游戏中,包括《地平线:西之绝境》(Horizon Forbidden West)、Pax Dei和《龙之信条 2》(Dragon’s Dogma 2)等。

AI开发者也可以充分利用端侧强大的AI能力,让生成式AI无处不在。

英伟达月底即将上线NVIDIA AI Workbench工具包,允许开发者在PC或工作站上快速创建、测试和自定义预训练的生成式AI模型和LLM,并且项目可扩展到数据中心、公有云或NVIDIA DGX Cloud等,然后再回到PC或工作站上的本地RTX系统进行推理和轻量定制。该工具还简化了对Hugging Face、GitHub和NVIDIA NGC等流行存储库的访问。

性能是其它AI PC的60倍,英伟达如何变革端侧AI?

NVIDIA AI Foundation Models and Endpoints(包括RTX加速的AI模型和软件开发工具包)有了新的进展。目前英伟达与惠普达成合作,将其集成到惠普AI Studio中,这是一个集成化的数据科学平台,简化AI模型的开发。这将使用户能跨PC和云轻松搜索、导入和部署优化后的模型。并且,为PC使用场景构建AI模型之后,开发者可使用NVIDIA TensorRT对其进行优化,以充分利用RTX GPU的Tensor Core。

英伟达通过TensorRT-LLM for Windows将TensorRT扩展到基于文本的应用,目前最新更新现已发布,将Phi-2加入不断增长的PC预优化模型列表,与其他backend相比推理速度提升5倍;另一方面,TensorRT扩展更新版的发布,令加速Stable Diffusion XL (SDXL) Turbo和LCM的性能提升了60%。

英伟达还宣布了一项为AI爱好者而设计的技术Demo——Chat with RTX。据了解,这项服务或将作为开源参考项目于月底发布,让用户通过"检索增强生成retrieval-augmented generation(RAG)",可将PC LLM连接到自己的数据。该Demo由TensorRT-LLM 加速,使用户快速与自己的笔记、文档和其他内容进行交互。  

雷峰网原创文章,未经授权禁止转载。详情见转载须知

分享:
相关文章
当月热门文章
最新文章
请填写申请人资料
姓名
电话
邮箱
微信号
作品链接
个人简介
为了您的账户安全,请验证邮箱
您的邮箱还未验证,完成可获20积分哟!
请验证您的邮箱
立即验证
完善账号信息
您的账号已经绑定,现在您可以设置密码以方便用邮箱登录
立即设置 以后再说