驱动增强终端侧生成式AI体验的技术：LoRA - 办公电子（技术聚焦）－全球企业门户

加入收藏

免费注册

今天是：2024年10月23日星期三您现在位于：首页 → 技术 → 办公电子（技术聚焦）

驱动增强终端侧生成式AI体验的技术：LoRA

2024/6/11 11:51:24

增强情境化和定制化一直是用户体验提升的推动力。尽管生成式AI已展示出变革性的潜力，但仍有进一步提升的丰富空间。为了满足对定制化和情境化相关体验日益增长的需求，本文（欢迎阅读博客第一部分：多模态生成式AI）将探讨为何LoRA即将产生重大影响。

类似于裁缝提供量身定制的西装，LoRA适配器支持定制化生成式AI体验。

通过LoRA适配器实现定制化

基础模型和预训练生成式AI模型拥有广泛的知识，可以很好地回复多种提示。但是它们有时可能会出现失误，因为这些模型没有专门针对特定知识的更多数据进行定制或精调。

“样样都懂一点，但样样都不精通。”这话很好地描述了这个问题：生成式AI模型能够展示很多满足需要的技能，但可能缺乏技术专长。

例如，如果需要一个大语言基础模型充当健身和健康教练，它可能难以针对锻炼或膳食建议提供准确的反馈。通过使用正确训练姿势、准确的菜肴卡路里含量等示例对模型进行训练精调，可以显著提高其准确性。训练原始基础模型需要大量数据、计算、预算和技术专长，而对许多AI公司、开发者和从业者来说，针对数据量小得多的特定领域进行精调，仍然太具挑战性。

为了应对该挑战，研究人员开发出了LoRA技术，能够大幅减少AI模型的可训练参数量（例如参数量减少98%），以降低训练成本，同时面向精调任务提高模型准确性。模型的变化部分被封装在LoRA适配器中，添加到模型原始值以创建精调模型。

除了降低模型训练难度之外，LoRA还能支持终端侧生成式AI用例实现更高效率、可扩展性和定制化。LoRA广泛适用于生成式和传统AI模型。

例如，可通过精调LLM等生成式AI模型，创建定制个人助手、改进语言翻译等。开发者和更广泛的AI社区正在生成LoRA适配器以打造定制体验，消费者可以选择符合个人偏好的适配器。

通过LoRA，生成式AI能够实现规模化扩展，基于消费者和企业偏好提供更加定制化、个性化和准确的体验。

终端侧现可支持定制的Stable Diffusion

最近，高通还演示了在Android智能手机上运行的支持LoRA适配器的Stable Diffusion。LoRA适配器赋能Stable Diffusion基于个人或艺术偏好创建高质量自定义图像。用户可选择某个LoRA适配器并设置适配强度，生成想要的图像。

例如，我们演示了一个“面条”适配器，它能够创建与Stable Diffusion类似的图像，但生成的图片能够结合意大利面等面食作为绘画风格。

除面向不同艺术风格赋能精调的语言视觉模型(LVM)外，LoRA技术也广泛适用于任何AI模型。由于模型规模以及DRAM和闪存限制，这一点对终端侧生成式AI尤为重要——适配器体积较小，通常不到基础模型规模的2%，而且可以快速切换。

在终端侧运行LoRA适配器可提供增强的隐私、安全性、可靠性、个性化和成本优势。查询进一步信息，请访问官方网站