|
随着生成式AI的飞速普及1和计算需求的日益增长2，混合处理的重要性空前突显。正如传统计算从大型主机和瘦客户端演变为当前云端和边缘终端相结合的模式，AI处理必须分布在云端和终端进行，才能实现AI的规模化扩展并发挥其最大潜能。
与仅在云端进行处理不同，混合AI架构在云端和边缘终端之间分配并协同处理AI工作负载。云端和边缘终端（如智能手机、汽车、个人电脑和物联网终端）协同工作，能够实现更强大、更高效且高度优化的AI。
节省成本是主要推动因素。举例来说，据估计使用基于生成式AI的搜索，每一次查询(query)其成本是传统搜索方法的10倍3，而这只是众多生成式AI的应用之一。
混合AI将支持生成式AI应用开发者和提供商利用边缘侧终端的计算能力降低成本。混合AI架构或仅在终端侧运行AI，能够在全球范围带来高性能、个性化、隐私和安全等优势。
混合AI架构可以根据模型和查询需求的复杂度等因素，选择不同方式在云端和终端侧之间分配处理负载。例如，如果模型大小、提示(Prompt)和生成长度小于某个限定值，并且能够提供可接受的精确度，推理即可完全在终端侧进行。如果是更复杂的任务，模型则可以跨云端和终端运行。
混合AI还能支持模型在终端侧和云端同时运行，也就是在终端侧运行轻量版模型时，在云端并行处理完整模型的多个token，并在需要时更正终端侧的处理结果。
随着强大的生成式AI模型不断缩小，以及终端侧处理能力的持续提升，混合AI的潜力将会进一步增长。参数超过10亿的AI模型已经能够在手机上运行，且性能和精度达到与云端相似的水平。不久的将来，拥有100亿或更高参数的模型将能够在终端上运行。
混合AI策略适用于几乎所有生成式AI应用和终端领域，包括手机、笔记本电脑、XR头显、汽车和物联网。这一策略对推动生成式AI规模化扩展，满足全球企业与消费者需求至关重要。我们坚信，混合处理将成为AI的未来。查询进一步信息，请访问官方网站https://www.qualcomm.cn/media/document．/files/hun-he-aishi-aide-wei-lai-di-yi-bu-fen-zhong-duan-ce-aihe-hun-he-aikai-qi-aide-wei-lai.pdf。
|
