高通近日发布AI白皮书称,混合AI是AI的未来,将支持生成式AI应用开发者和提供商利用边缘侧终端的计算能力降低成本。混合AI架构或仅在终端侧运行AI,能够在全球范围带来高性能、个性化、隐私和安全等优势。此外,混合AI架构可以根据模型和查询需求的复杂度等因素,选择不同方式在云端和终端侧之间分配处理负载。
(图源:高通中国官方微信公众号)
据高通混合AI白皮书,在混合AI场景中,边缘大模型是云端大模型的感知器官,例如用户对手机说话,自动语音识别(ASR)AI模型如Whisper在设备上转换语音为文本,发送到云端,云端运行大模型,回发文本答案。
在进阶版本中,设备AI更进一步保护隐私,承担更多处理,提供更个性化的提示给云:通过设备学习和个人数据,设备创建用户个人形象,与调度程序协作,基于上下文提供更好的提示;例如,用户要求手机预约和朋友在最爱餐厅吃饭,对简单查询,较小的大模型可在设备上运行无需云交互,如果用户需要复杂信息,则本地将需求转化为提示发给云端大模型并返回详细答案。
高通指出,随着强大的生成式AI模型不断缩小,以及终端侧处理能力的持续提升,混合AI的潜力将会进一步增长。参数超过10亿的AI模型已经能够在手机上运行,且性能和精度达到与云端相似的水平。不久的将来,拥有100亿或更高参数的模型将能够在终端上运行。混合AI策略适用于几乎所有生成式AI应用和终端领域,对推动生成式AI规模化扩展,满足全球企业与消费者需求至关重要。
中信建投阎贵成等人6月15日研报表示,AIGC大模型及应用爆红,拉动算力需求。在万物互联大部分场景中,云端处理存在时延较长、成本较高、并且涉及数据隐私等问题,边缘AI算力的引入至关重要。我们认为未来AI算力将综合考虑硬件能力、成本等因素,以混合AI的架构,在边端和云端灵活分配。
据了解,混合AI指的其实是云端和设备端共同处理AI计算,借助设备端的即时感知、即时处理优势,来填补云端AI在延迟方面的短板,同时还通过云端的超高算力,来弥补端侧AI性能的缺憾。
高通中国区董事长孟樸表示,混合AI势不可挡,助推AI规模化发展。在孟樸看来,从过去20年AI的发展,到最近大语言模型的发展、交互式AI的发展,所有这些都推动了整个产业的快速发展。可以看到,人们使用的电子设备,不论是手机,还是冰箱、彩电等,越来越多地实现了智能化和网联化,所有这些终端产品都产生了大量的数据,而且都具备情景感知的特点。
据财联社不完全整理,在混合AI领域有所布局或有所合作的A股上市公司包括江南化工、天准科技、首都在线和优刻得等,具体情况如下:
江南化工持有北京光年无限科技有限公司12.91%股份,根据北京光年科技公司的介绍,“智娃”产品支持硬件系统耦合,即支持本地内容资源的调用、支持离在线混合AI计算架构(该架构可明显提升AI响应时间等)。
天准科技是英伟达Jetson金牌合作伙伴,是Jetson在国内最大的NPN (NVIDIA Preferred Partner)合作伙伴;天准科技基于英伟达Jetson和地平线J5平台面向AMR移动机器人、自动驾驶、智慧交通、智能制造等行业提供AI边缘算力。
首都在线提供边缘侧的推理算力支持AIGC应用,针对GPU服务器的特殊性,自研了管理芯片及配套的管理系统,搭建了面向ChatGPT行业的泛渲染异构算力公有云平台,新一代算力平台可为ChatGPT类人工智能应用提供算力、算法、云渲染等技术服务,已为国内多家涉及人工智能类客户提供服务。
优刻得是国内领先云服务提供商,根据客户实际业务需求,可以为AI客户提供CPU/GPU算力资源和服务,以公有云、混合云等不同模式满足客户的多样化使用场景需求。
文章来源:财联社
未经允许不得转载:德讯证顾 » 高通提出云边一体混合AI路径!受益上市公司梳理
评论前必须登录!
登陆 注册