加入收藏
 免费注册
 用户登陆
首页 展示 供求 职场 技术 智造 职业 活动 视点 品牌 镨社区
今天是:2024年3月29日 星期五   您现在位于: 首页 →  智造 → 办公电子(应用指南)
Graphcore PopRT实现零代码模型推理部署
日期:2023/4/16 12:01:28   作者:
当你和ChatGPT聊天时,你有没有想过,在那个闪烁的光标背后,正在发生什么?

ChatGPT在收到你的输入指令后,到生产出答案的过程就是推理。AI推理是将用户输入的数据,通过训练好的模型产生有价值信息的过程。在LLM类模型应用、自动驾驶、量化交易、搜索、推荐等很多场景中,对于AI推理效率的要求非常高。为进一步帮助克服AI应用部署的时延痛点,Graphcore搭配C600推出了高性能推理SDK——PopRT,帮助开发者实现零代码推理部署已经训好的模型,同时带来低时延和高吞吐量,极大缩短AI业务商业变现时间窗口,为企业用户赢得市场先机。


PopRT构成


PopRT包括转换器、编译器和运行时:

    转换器
        提供对op-fusion、constant-folding等广泛使用的优化方法内置支持
        提供对FP16和FP8训练后量化的内置支持,这种训练后量化可以实现更低的时延和更高的吞吐量,并且精度损失很小
        支持将多个模型融合为一个
    编译器
        支持模型切分和流水线
        为运行时导出PopEF(Poplar可执行格式)
    运行时
        支持自动批处理
        支持移除填充以减少对自然语言处理(NLP)模型的无用计算(或通过移除填充对自然语言处理模型进行更有效的推理)
        支持针对CV(计算机视觉)模型的多模型推理


部署和运行


Graphcore始终坚持降低IPU的使用门槛,广泛支持各类主流的机器学习框架,让开发者能够在自己熟悉的环境中工作,专注创新。

PopRT优化模型可与英伟达Triton和TF-Serving一起部署,并可以通过PopRT运行时API很容易地与第三方框架和服务平台集成。


优化推理性能


搭配Grapchore C600高端推训一体加速卡,PopRT使得开发者可以“一键”零代码部署已经训练好的AI应用,可以大幅加速计算机视觉、自动语音识别、自然语言处理(BERT、GPT类)、多模态和推荐系统的AI应用的部署速度,加速整个数据中心的各项工作负载,缩短研发到商用的时间。

欲了解各类模型在C600的优异性能,请联系info_china@graphcore.ai


在C600上使用PopRT


C600是拟未为云和数据中心打造的高端推训一体加速卡,主打推理,兼做训练,可以支持各种主流的AI应用,在搜索和推荐等业务上别具优势。为了使得C600在推理场景发挥更大效能,PopRT在C600的基础上进一步针对推理进行了优化,低时延和高吞吐使得用户可以高效地进行推理,一键部署已经训好的模型。

现在,15亿参数量的GPT2-XL已经在C600上成功部署(详情请见本次推送首条)。在PopRT的加持下,GPT2-XL的推理延时在C600上已经达到1 ms/token的水平。这意味着在实际应用场景中,模型可以快速响应用户的请求,极大提高用户体验。

查询进一步信息,请访问官方网站http://www.graphcore.cn/0-code-deploy-graphcore-poprt/http://docs.graphcore.ai/projects/poprt-user-guide/zh_CN/latest/http://github.com/graphcore/PopRT。(Donna Zhang,张底剪报)
→ 『关闭窗口』
 发布人:-----
 [ → 我要发表 ]
上篇文章:1700V SiC MOSFET无需考虑功率转换中的权衡问题
下篇文章:MIPI提高新一代图像数据的传输性能
→ 主题所属分类:  办公电子 → 应用指南
 热门文章
 中航光电(158厂)电连接器产品选型指南 (61142)
 国巨(Yageo)片式电阻电容产品规格书 (55844)
 下一代前传网络接口(NGFI)白皮书 (47514)
 2013年移动经济(The Mobile Economy 2013… (46396)
 使用NFC进行蓝牙配对(Using NFC for Bluet… (43292)
 镭射二极管 (42235)
 mirasol显示器与竞争性显示技术的比较 - Qualco… (40041)
 为滤波电路选择合适的运算放大器 (39985)
 CodeWarrior Development Studio (39753)
 u-blox产品目录(Product Catalog 16… (38620)
 最近更新
 人形机器人设计原则及人类智能和内部身体系统仿真 (2月2日)
 用传感器让中央空调更节能环保,精确测量温湿度、… (1月30日)
 不干胶标签印刷UL认证 (11月22日)
 基于广芯微UM3242F-RET6主控芯片的DC-AC逆… (11月9日)
 实现生成式AI的关键半导体技术 (8月10日)
 大功率、低阻值检流电阻器的基础与应用 (7月18日)
 采用超低损耗 (ULL) 部件来优化短距离单模部署 (6月23日)
 扩展现实设备芯片需求白皮书——arm (6月21日)
 实时管理天空和地面时间源以保护关键基础设施免受… (6月20日)
 终端侧AI如何赋能生成式AI实现规模化扩展 (6月16日)
 文章搜索
搜索选项:            
  → 评论内容 (点击查看)
您是否还没有 注册 或还没有 登陆 本站?!
关于我们 ┋ 免责声明 ┋ 产品与服务 ┋ 联系我们 ┋ About 365PR ┋ Join 365PR
Copyright @ 2005-2008 365pr.net Ltd. All Rights Reserved. 深圳市产通互联网有限公司 版权所有
E-mail:postmaster@365pr.net 不良信息举报 备案号:粤ICP备06070889号