加入收藏
免费注册
用户登陆
首页
展示
供求
职场
技术
智造
职业
活动
视点
品牌
镨社区
今天是:2024年3月29日 星期五 您现在位于:
首页
→
智造
→ 办公电子(应用指南)
Graphcore PopRT实现零代码模型推理部署
日期:2023/4/16 12:01:28 作者:
当你和ChatGPT聊天时,你有没有想过,在那个闪烁的光标背后,正在发生什么?
ChatGPT在收到你的输入指令后,到生产出答案的过程就是推理。AI推理是将用户输入的数据,通过训练好的模型产生有价值信息的过程。在LLM类模型应用、自动驾驶、量化交易、搜索、推荐等很多场景中,对于AI推理效率的要求非常高。为进一步帮助克服AI应用部署的时延痛点,Graphcore搭配C600推出了高性能推理SDK——PopRT,帮助开发者实现零代码推理部署已经训好的模型,同时带来低时延和高吞吐量,极大缩短AI业务商业变现时间窗口,为企业用户赢得市场先机。
PopRT构成
PopRT包括转换器、编译器和运行时:
    转换器
        提供对op-fusion、constant-folding等广泛使用的优化方法内置支持
        提供对FP16和FP8训练后量化的内置支持,这种训练后量化可以实现更低的时延和更高的吞吐量,并且精度损失很小
        支持将多个模型融合为一个
    编译器
        支持模型切分和流水线
        为运行时导出PopEF(Poplar可执行格式)
    运行时
        支持自动批处理
        支持移除填充以减少对自然语言处理(NLP)模型的无用计算(或通过移除填充对自然语言处理模型进行更有效的推理)
        支持针对CV(计算机视觉)模型的多模型推理
部署和运行
Graphcore始终坚持降低IPU的使用门槛,广泛支持各类主流的机器学习框架,让开发者能够在自己熟悉的环境中工作,专注创新。
PopRT优化模型可与英伟达Triton和TF-Serving一起部署,并可以通过PopRT运行时API很容易地与第三方框架和服务平台集成。
优化推理性能
搭配Grapchore C600高端推训一体加速卡,PopRT使得开发者可以“一键”零代码部署已经训练好的AI应用,可以大幅加速计算机视觉、自动语音识别、自然语言处理(BERT、GPT类)、多模态和推荐系统的AI应用的部署速度,加速整个数据中心的各项工作负载,缩短研发到商用的时间。
欲了解各类模型在C600的优异性能,请联系info_china@graphcore.ai
在C600上使用PopRT
C600是拟未为云和数据中心打造的高端推训一体加速卡,主打推理,兼做训练,可以支持各种主流的AI应用,在搜索和推荐等业务上别具优势。为了使得C600在推理场景发挥更大效能,PopRT在C600的基础上进一步针对推理进行了优化,低时延和高吞吐使得用户可以高效地进行推理,一键部署已经训好的模型。
现在,15亿参数量的GPT2-XL已经在C600上成功部署(详情请见本次推送首条)。在PopRT的加持下,GPT2-XL的推理延时在C600上已经达到1 ms/token的水平。这意味着在实际应用场景中,模型可以快速响应用户的请求,极大提高用户体验。
查询进一步信息,请访问官方网站
http://www.graphcore.cn/0-code-deploy-graphcore-poprt/
,
http://docs.graphcore.ai/projects/poprt-user-guide/zh_CN/latest/
,
http://github.com/graphcore/PopRT
。(Donna Zhang,张底剪报)
→
『关闭窗口』
发布人:
-----
[
→ 我要发表
]
上篇文章:
1700V SiC MOSFET无需考虑功率转换中的权衡问题
下篇文章:
MIPI提高新一代图像数据的传输性能
→ 主题所属分类:
办公电子
→
应用指南
热门文章
中航光电(158厂)电连接器产品选型指南
(
61142
)
国巨(Yageo)片式电阻电容产品规格书
(
55844
)
下一代前传网络接口(NGFI)白皮书
(
47514
)
2013年移动经济(The Mobile Economy 2013…
(
46396
)
使用NFC进行蓝牙配对(Using NFC for Bluet…
(
43292
)
镭射二极管
(
42235
)
mirasol显示器与竞争性显示技术的比较 - Qualco…
(
40041
)
为滤波电路选择合适的运算放大器
(
39985
)
CodeWarrior Development Studio
(
39753
)
u-blox产品目录(Product Catalog 16…
(
38620
)
最近更新
人形机器人设计原则及人类智能和内部身体系统仿真
(2月2日)
用传感器让中央空调更节能环保,精确测量温湿度、…
(1月30日)
不干胶标签印刷UL认证
(11月22日)
基于广芯微UM3242F-RET6主控芯片的DC-AC逆…
(11月9日)
实现生成式AI的关键半导体技术
(8月10日)
大功率、低阻值检流电阻器的基础与应用
(7月18日)
采用超低损耗 (ULL) 部件来优化短距离单模部署
(6月23日)
扩展现实设备芯片需求白皮书——arm
(6月21日)
实时管理天空和地面时间源以保护关键基础设施免受…
(6月20日)
终端侧AI如何赋能生成式AI实现规模化扩展
(6月16日)
文章搜索
搜索选项:
文章标题
发布人
请选择文章的类别
白皮书店
消费电子
办公电子
汽车电子
通信电子
固态照明
安全电子
工业电子
医疗电子
家庭电子
参考设计
应用指南
数据手册
产品透视
移动电子
参考设计
应用指南
数据手册
产品透视
办公电子
参考设计
应用指南
数据手册
产品透视
通信网络
参考设计
应用指南
数据手册
产品透视
汽车电子
参考设计
应用指南
数据手册
产品透视
工业电子
参考设计
应用指南
数据手册
产品透视
固态照明
参考设计
应用指南
数据手册
产品透视
安全电子
参考设计
应用指南
数据手册
产品透视
医疗电子
参考设计
应用指南
数据手册
产品透视
产品目录
电子元件
半导体器件
显示器材
绿色能源
电子材料
电子测量
电子制造
通用资源
设计技巧
常用数据
开发工具
IC代换
→
评论内容
(点击查看)
(没有相关评论)
您是否还没有
注册
或还没有
登陆
本站?!
关于我们
┋
免责声明
┋
产品与服务
┋
联系我们
┋
About 365PR
┋
Join 365PR
Copyright @ 2005-2008 365pr.net Ltd. All Rights Reserved. 深圳市产通互联网有限公司 版权所有
E-mail:postmaster@365pr.net
不良信息举报
备案号:
粤ICP备06070889号