 【产通社,4月23日讯】Esperanto Technologies官网消息,其已经在低功耗RISC-V硬件上移植并运行一系列Generative AI模型。Esperanto计划为RISC-V社区的研究人员提供访问权限,作为该公司帮助更广泛行业“民主化AI”(democratize AI)使命的一部分,并帮助加速RISC-V上生成性AI技术的开发。 这项开发是世界语战略的一部分,旨在将RISC-V技术在AI和通用应用程序中的优势从云扩展到边缘。世界语的Generative AI工作的重点领域包括大型语言模型(LLM)用例,其中与现有产品相比,使用总拥有成本(TCO)更低的低功耗硬件是关键。 特别是,Meta的开放预训练转换器(Open Pre-Trained Transformer,OPT)模型的几个版本现在正在世界语的硬件上以多种精度水平和上下文大小运行,推理的功耗水平低至每芯片25W。将OPT模型快速移植到ET-SoC-1芯片上是通过Esperanto的机器学习软件开发套件实现的,该套件目前正由该公司的商业客户使用。被授权为R&D目的访问Esperanto解决方案的研究人员将被要求遵守Meta的开源许可以及其他项目条款。 “生成式AI是机器学习的最新进展之一,我们很高兴能够为RISC-V研究社区贡献我们在大型语言模型领域的努力,”Esperanto Technologies公司总裁兼首席执行官Art Swift说。 “Penguin Computing很荣幸成为Esperanto的战略合作伙伴,帮助加速部署高性能、低功耗的生成式AI解决方案,”Penguin解决方案总裁兼Smart Global Holdings智能平台解决方案高级副总裁Thierry Pellegrino表示。“我们很高兴与Esperanto合作,将其RISC-V解决方案部署扩展到更广泛的客户,这些客户正在寻求低功耗AI推理解决方案和降低总拥有成本。” “对RISC-V日益增长的兴趣标志着半导体行业的一个重要转折点。Creative Strategies首席执行官兼首席分析师Ben Bajarin表示,“Generative AI领域的这一发展将进一步加快研究人员对RISC-V的评估,这些研究人员希望在这一令人兴奋的领域取得突破,开发人员希望在现有平台之外增加竞争优势。 “RISC-V为协作和定制提供了无与伦比的机会,使其非常适合这波AI创新浪潮,”RISC-V国际公司首席执行官Calista Redmond说。“Esperanto是该领域领先的公司之一,它推动了性能和能效的极限,使生成式人工智能开发更容易实现。” 对于商业客户,Esperanto目前正在推出AI评估服务器,该服务器提供高性能、高能效和低总拥有成本。每台Esperanto评估服务器均采用标准的2U高外形规格,包括双至强主机处理器和8或16块ET-SoC-1 PCIe卡。每张Esperanto PCIe卡都有超过1000个64位RISC-V CPU,附带向量/张量单元,每台服务器最多可提供16000个RISC-V CPU。 Esperanto的评估服务器使客户能够通过运行各种行业标准的AI模型获得性能和功率数据,并能够自带模型和数据。查询进一步信息,请访问官方网站 http://www.esperanto.ai/contact。(张怡,产通发布) (完)
|