加入收藏
 免费注册
 用户登陆
首页 展示 供求 职场 技术 智造 职业 活动 视点 品牌 镨社区
今天是:2024年10月10日 星期四   您现在位于: 首页 →  智造 → 白皮书店(消费电子)
终端侧AI如何赋能生成式AI实现规模化扩展
日期:2023/6/16 21:32:55   作者:
随着生成式AI的飞速普及1和计算需求的日益增长2,混合处理的重要性空前突显。正如传统计算从大型主机和瘦客户端演变为当前云端和边缘终端相结合的模式,AI处理必须分布在云端和终端进行,才能实现AI的规模化扩展并发挥其最大潜能。

与仅在云端进行处理不同,混合AI架构在云端和边缘终端之间分配并协同处理AI工作负载。云端和边缘终端(如智能手机、汽车、个人电脑和物联网终端)协同工作,能够实现更强大、更高效且高度优化的AI。

节省成本是主要推动因素。举例来说,据估计使用基于生成式AI的搜索,每一次查询(query)其成本是传统搜索方法的10倍3,而这只是众多生成式AI的应用之一。 

混合AI将支持生成式AI应用开发者和提供商利用边缘侧终端的计算能力降低成本。混合AI架构或仅在终端侧运行AI,能够在全球范围带来高性能、个性化、隐私和安全等优势。

混合AI架构可以根据模型和查询需求的复杂度等因素,选择不同方式在云端和终端侧之间分配处理负载。例如,如果模型大小、提示(Prompt)和生成长度小于某个限定值,并且能够提供可接受的精确度,推理即可完全在终端侧进行。如果是更复杂的任务,模型则可以跨云端和终端运行。

混合AI还能支持模型在终端侧和云端同时运行,也就是在终端侧运行轻量版模型时,在云端并行处理完整模型的多个token,并在需要时更正终端侧的处理结果。

随着强大的生成式AI模型不断缩小,以及终端侧处理能力的持续提升,混合AI的潜力将会进一步增长。参数超过10亿的AI模型已经能够在手机上运行,且性能和精度达到与云端相似的水平。不久的将来,拥有100亿或更高参数的模型将能够在终端上运行。

混合AI策略适用于几乎所有生成式AI应用和终端领域,包括手机、笔记本电脑、XR头显、汽车和物联网。这一策略对推动生成式AI规模化扩展,满足全球企业与消费者需求至关重要。我们坚信,混合处理将成为AI的未来。查询进一步信息,请访问官方网站https://www.qualcomm.cn/media/document./files/hun-he-aishi-aide-wei-lai-di-yi-bu-fen-zhong-duan-ce-aihe-hun-he-aikai-qi-aide-wei-lai.pdf。
→ 『关闭窗口』
 发布人:-----
 [ → 我要发表 ]
上篇文章:让混合AI成为现实
下篇文章:实时管理天空和地面时间源以保护关键基础设施免受网络安全威胁
→ 主题所属分类:  白皮书店 → 消费电子
 热门文章
 中航光电(158厂)电连接器产品选型指南 (61951)
 国巨(Yageo)片式电阻电容产品规格书 (56298)
 下一代前传网络接口(NGFI)白皮书 (48187)
 2013年移动经济(The Mobile Economy 2013… (46838)
 使用NFC进行蓝牙配对(Using NFC for Bluet… (43728)
 镭射二极管 (43081)
 mirasol显示器与竞争性显示技术的比较 - Qualco… (40533)
 为滤波电路选择合适的运算放大器 (40397)
 CodeWarrior Development Studio (40343)
 u-blox产品目录(Product Catalog 16… (39030)
 最近更新
 复旦芯片实现感存算一体化:像人眼一样智能 (9月29日)
 增强型人工智能为Meteor Lake处理器的设计提速 (5月15日)
 教育行业数字化自主创新飞腾生态解决方案白皮书 (4月2日)
 人形机器人设计原则及人类智能和内部身体系统仿真 (2月2日)
 用传感器让中央空调更节能环保,精确测量温湿度、… (1月30日)
 不干胶标签印刷UL认证 (11月22日)
 基于广芯微UM3242F-RET6主控芯片的DC-AC逆… (11月9日)
 实现生成式AI的关键半导体技术 (8月10日)
 大功率、低阻值检流电阻器的基础与应用 (7月18日)
 采用超低损耗 (ULL) 部件来优化短距离单模部署 (6月23日)
 文章搜索
搜索选项:            
  → 评论内容 (点击查看)
您是否还没有 注册 或还没有 登陆 本站?!
关于我们 ┋ 免责声明 ┋ 产品与服务 ┋ 联系我们 ┋ About 365PR ┋ Join 365PR
Copyright @ 2005-2008 365pr.net Ltd. All Rights Reserved. 深圳市产通互联网有限公司 版权所有
E-mail:postmaster@365pr.net 不良信息举报 备案号:粤ICP备06070889号