 【产通社,12月17日讯】Graphcore官网消息,其C600 PCIe卡是为人工智能(AI)推理应用获得IPU能力提供了一种新方法。C600主打推理,兼做训练,可以支持各种主流的AI应用,在搜索和推荐等业务上别具优势。 产品特点 C600在提供低延时、高吞吐量的同时不损失精度,帮助AI开发人员解决“精度与速度难两全”的痛点,为AI应用提供解锁IPU强大算力的新路径,以满足客户和机器智能从业者对于易用、高效以及更优TCO推理产品的强烈需求。 每张C600使用单颗IPU处理器。在Graphcore经典的Wafer-on-Wafer MK2 IPU的基础上,C600增加了用于低精度和混合精度AI的FP8。C600所使用的单颗芯片可提供FP8浮点运算560 TFLOPS以及FP16浮点运算280 TFLOPS的AI计算能力,为C600带来强大的算力引擎。 作为AI应用推理部署的理想选择,C600可满足用户从试验到投产整个过程中对快速跟踪IPU原型和速度的各种要求,同时大幅降低TCO(总体拥有成本)。 C600在提供强大的算力、易用性和灵活性的同时,还实现了低时延和低功耗,在运行典型工作负载时的散热设计功耗仅为185瓦,可为运维人员大大减少数据中心运营开支,是采购决策者的高投资回报之选。 C600卡完全由Poplar这一完整的端到端软件栈支持,用于开发、部署和监控IPU上的AI模型推理及训练。Graphcore全面支持包括TensorFlow、Keras、ONNX、阿里云Halo、百度飞桨、OpenMMLab、HuggingFace、PyTorch和PyTorch Lightning在内的标准机器学习框架,以及通过Poplar C++ APl访问PopLibs。Poplar SDK还包括PopVision可视化和分析工具,为lPU提供性能监测。 除了这些Poplar开发工具外,C600系统还具备对Docker容器等行业标准的融合基础设施管理工具的软件支持,以及对Slurm和Kubernetes的协调。 包括机架尺寸和电力输送在内,市场中的数据中心配置千差万别。以PCIe卡的形式提供IPU,是Graphcore对用户对于PCIe卡热切需求的回应,使得用户能够更加快速便捷地开始使用IPU产品。另外,这个高度通用的形态可以支持Graphcore的用户以适合他们需求的方式配置他们的系统设置,包括主机服务器与机箱。 C600是一张PCIe Gen 4双插槽卡,使用一个IPU,每个IPU具有1472个处理核心,能够并行运行8832个独立程序线程。每个IPU都有900MB的片上SRAM存储。用户可以在单个机箱中直接连接多达8块卡,通过高带宽的IPU-Links进行桥接。C600可搭配市场上主流的AI服务器使用,比如浪潮NF5468M6等。 供货与报价 从发布之日起,C600即已在中国地区接受预购和评估申请,产品将在2023年1月份开始发货。查询进一步信息,请访问官方网站 http://www.graphcore.ai/posts/graphcore-launches-c600-pcie-card-for-ai-compute。(Donna Zhang,张底剪报) (完)
|