加入收藏
 免费注册
 用户登陆
首页 展示 供求 职场 技术 智造 职业 活动 视点 品牌 镨社区
今天是:2024年7月18日 星期四   您现在位于: 首页 →  技术 → 办公电子(技术聚焦)
驱动增强终端侧生成式AI体验的技术:LoRA
2024/6/11 11:51:24    
增强情境化和定制化一直是用户体验提升的推动力。尽管生成式AI已展示出变革性的潜力,但仍有进一步提升的丰富空间。为了满足对定制化和情境化相关体验日益增长的需求,本文(欢迎阅读博客第一部分:多模态生成式AI)将探讨为何LoRA即将产生重大影响。

类似于裁缝提供量身定制的西装,LoRA适配器支持定制化生成式AI体验。

 
通过LoRA适配器实现定制化


基础模型和预训练生成式AI模型拥有广泛的知识,可以很好地回复多种提示。但是它们有时可能会出现失误,因为这些模型没有专门针对特定知识的更多数据进行定制或精调。

“样样都懂一点,但样样都不精通。”这话很好地描述了这个问题:生成式AI模型能够展示很多满足需要的技能,但可能缺乏技术专长。

例如,如果需要一个大语言基础模型充当健身和健康教练,它可能难以针对锻炼或膳食建议提供准确的反馈。通过使用正确训练姿势、准确的菜肴卡路里含量等示例对模型进行训练精调,可以显著提高其准确性。训练原始基础模型需要大量数据、计算、预算和技术专长,而对许多AI公司、开发者和从业者来说,针对数据量小得多的特定领域进行精调,仍然太具挑战性。

为了应对该挑战,研究人员开发出了LoRA技术,能够大幅减少AI模型的可训练参数量(例如参数量减少98%),以降低训练成本,同时面向精调任务提高模型准确性。模型的变化部分被封装在LoRA适配器中,添加到模型原始值以创建精调模型。

除了降低模型训练难度之外,LoRA还能支持终端侧生成式AI用例实现更高效率、可扩展性和定制化。LoRA广泛适用于生成式和传统AI模型。

例如,可通过精调LLM等生成式AI模型,创建定制个人助手、改进语言翻译等。开发者和更广泛的AI社区正在生成LoRA适配器以打造定制体验,消费者可以选择符合个人偏好的适配器。

通过LoRA,生成式AI能够实现规模化扩展,基于消费者和企业偏好提供更加定制化、个性化和准确的体验。 


终端侧现可支持定制的Stable Diffusion


最近,高通还演示了在Android智能手机上运行的支持LoRA适配器的Stable Diffusion。LoRA适配器赋能Stable Diffusion基于个人或艺术偏好创建高质量自定义图像。用户可选择某个LoRA适配器并设置适配强度,生成想要的图像。

例如,我们演示了一个“面条”适配器,它能够创建与Stable Diffusion类似的图像,但生成的图片能够结合意大利面等面食作为绘画风格。

除面向不同艺术风格赋能精调的语言视觉模型(LVM)外,LoRA技术也广泛适用于任何AI模型。由于模型规模以及DRAM和闪存限制,这一点对终端侧生成式AI尤为重要——适配器体积较小,通常不到基础模型规模的2%,而且可以快速切换。

在终端侧运行LoRA适配器可提供增强的隐私、安全性、可靠性、个性化和成本优势。查询进一步信息,请访问官方网站http://www.qualcomm.cn/news/blogs。(张怡,张底剪报)
→ 『关闭窗口』
 365pr_net
 [ → 我要发表 ]
上篇文章:AI TOPS和NPU性能指标指南
下篇文章:没有找到相关文章
→ 主题所属分类:  办公电子 → 技术聚焦
 热门文章
 如何申请EtherCAT技术协会(ETG)会员资格 (170389)
 台北国际计算机展(COMPUTEX 2015)参展商名… (104647)
 上海市集成电路行业协会(SICA) (91279)
 USB-IF Members Company List (83326)
 第十七届中国专利优秀奖项目名单(507项) (74635)
 台北国际计算机展(COMPUTEX 2015)参展商名… (68169)
 苹果授权MFi制造商名单-Authorized MFi Lic… (67798)
 中国130家太阳能光伏组件企业介绍(3) (55492)
 PLC论坛 (52693)
 中国130家太阳能光伏组件企业介绍(2) (48778)
 最近更新
 驱动增强终端侧生成式AI体验的技术:LoRA (6月11日)
 AI TOPS和NPU性能指标指南 (6月11日)
 驱动增强终端侧生成式AI体验的技术:多模态生成式AI (6月11日)
 AI工程师如何建立团队在AI和AI方面的技能 (5月25日)
 Copilot键让最新Windows电脑能记住一切 (5月24日)
 英特尔是如何削弱标准机构为我们提供PCI连接器? (5月22日)
 英特尔用于下一代先进封装的玻璃基板(Glass Subs… (4月29日)
 EUV光刻技术回眸:Trumpf、Zeiss和ASML的… (4月3日)
 为Al设计的NPU与其他处理器共同加速生成式AI体验 (3月9日)
 英特尔为未来数据中心开发的处理器芯片新技术 (2月23日)
 文章搜索
搜索选项:            
  → 评论内容 (点击查看)
您是否还没有 注册 或还没有 登陆 本站?!
关于我们 ┋ 免责声明 ┋ 产品与服务 ┋ 联系我们 ┋ About 365PR ┋ Join 365PR
Copyright @ 2005-2008 365pr.net Ltd. All Rights Reserved. 深圳市产通互联网有限公司 版权所有
E-mail:postmaster@365pr.net 不良信息举报 备案号:粤ICP备06070889号