 【产通社,11月21日讯】进迭时空(杭州)科技有限公司(SPACEMIT)官网消息,大模型需要在资源有限的终端设备上高效运行,对芯片的AI部署通用性、易用性、经济性等提出了更高的要求。进迭时空的实践表明,RISC-V作为开源开放的下一代计算架构,以通用CPU核为基础,结合少量DSA定制和大量微架构创新,不仅具备完整CPU功能,更拥有强大的原生AI算力,可以为端侧大模型落地应用提供全新的解决方案。 产品特点 SpacemiT Key Stone?K1凭借其开放性和可编程性,能够轻松接入ONNXRuntime等主流开源生态。这一特性不仅降低了部署大量现有AI模型的门槛,还天然支持了timm、onnx modelzoo、ppl modelzoo等开源模型仓库的模型,以及所有的公开onnx模型。这意味着,无论是传统的小模型还是当下火热的大模型,如qwen系列、llama系列、minicpm系列、phi系列、chatglm系列、gemma系列等,都能在这款AI CPU上得到高效支持。 尤其是,进迭时空SpacemiT Key Stone?K1的原生AI算力具有极强的可编程性,支持主流低bit量化方式,从而极大地降低了大模型的带宽需求。K1芯片运行主流的5亿参数大模型可以实现每秒20个token的优异性能。 借助主流开源生态,进迭时空不仅扩充了模型仓库,还实现了低成本的迁移ONNXRuntime生态中的各种案例。此外,通过云端通用AI助手,用户只需通过自然语言描述,即可实现AI部署。由于AI CPU支持全集ONNX算子,用户只需修改模型路径和摄像头设备号,即可成功进行部署,极大地简化了操作流程。 进迭时空在SpacemiT Key StoneK1芯片上构建了以通义千问(qwen2.5-1.5B-coder)为基础的本地AI助手。借助本地AI助手,用户可以通过自然语言描述实现AI部署,无需依赖网络连接,进一步提升了AI应用的便捷性和安全性。 供货与报价 查询进一步信息,请访问官方网站 http://www.spacemit.com。(张怡,产通发布) (完)
|