加入收藏
 免费注册
 用户登陆
首页 展示 供求 职场 技术 智造 职业 活动 视点 品牌 镨社区
今天是:2024年4月18日 星期四   您现在位于: 首页 →  产通直播 → STEAM(学术科研)
中科院微电子所等在忆阻器实现连续学习方面取得进展
2022/6/14 8:06:03     

按此在新窗口浏览图片

【产通社,6月14日讯】中国科学院(Chinese Academy of Sciences)官网消息,以深度学习和神经网络为代表的人工智能技术,近年来在人脸识别、自动驾驶、智慧城市和健康监测等领域迅速发展。然而,传统神经网络模型在处理多任务连续学习时面临灾难性遗忘问题,即神经网络在学习新任务时会遗忘已学到的知识,导致在执行先前任务时性能大幅下降。

中国科学院院士、中科院微电子研究所微电子器件与集成技术重点实验室研究员刘明团队研究员尚大山、香港大学博士王中锐与清华大学教授刘勇攀等,基于忆阻器存算一体芯片,开发了一款软-硬件协同设计的连续学习原型系统。在软件方面,受人类大脑启发,科研团队提出了一种基于突触元可塑性的混合精度连续学习模型(MPCL)。该模型采用前馈全连接神经网络架构,其中隐藏层权重分别由二值权重和浮点型权重两部分组成。

模型进行多任务连续学习时采用非对称权重更新策略,通过限制与新任务相关性弱的权重更新,平衡权重的可塑性与稳定性,从而有效缓解灾难性遗忘。在硬件方面,科研人员将MPCL模型部署在一个由忆阻器(RRAM)存算一体(IMC)芯片和通用数字处理器组成的混合模拟数字硬件系统上。通过将二进制权重映射到忆阻器阵列,该系统采用IMC计算范式,利用基尔霍夫定律和欧姆定律加速向量矩阵乘法操作,减少了处理器和存储器之间数据传输的能量和时间开销。同时,为减轻忆阻器非理想因素对系统性能的影响,研究团队在软件模拟中重构了与硬件完全相同的计算流程,利用原位精调的方法优化了权重的映射过程,并使硬件系统在保持推理准确率的同时最大限度地提高计算并行度。该原型系统在MNIST和Fashion MNIST数据集上分别实现五个任务连续学习94.9%和95.3%的平均准确率,同时,相较于传统数字系统,核心运算能耗得到大幅降低。这种基于忆阻器存算一体能力的连续学习实现方案,为未来构建具有自适应能力的低能耗人工智能体提供了参考。

近日,相关研究成果发表在《先进智能系统》(Advanced Intelligent Systems)上。Wiley学术出版集团科技新闻网站Advanced Science News以Continual learning, just like humans为题,对该成果进行了专题报道。研究工作得到科技部、国家自然科学基金委员会、中科院与香港大学的支持。

查询进一步信息,请访问官方网站http://www.cas.cn/syky/202206/t20220608_4837432.shtml。(张嘉汐,产通发布)    (完)
→ 『关闭窗口』
 -----
 [ → 我要发表 ]
上篇文章:台积电公司(TSMC)2022年5月营收月增7.6%
下篇文章:Murata村田MRMS591P/81P全方位AMR传感器可…
  → 评论内容 (点击查看)
您是否还没有 注册 或还没有 登陆 本站?!
 分类浏览
官网评测>| 官网  社区  APP 
STEAM>| 学术科研  产品艺术  技术规范  前沿学者 
半导体器件>| 产品通报  企业动态  VIP追踪 
电子元件>| 产品通报  企业动态  VIP追踪 
消费电子>| 产品通报  企业动态  VIP追踪 
商业设备>| 产品通报  企业动态  VIP追踪 
电机电气>| 产品通报  企业动态  VIP追踪 
电子材料>| 产品通报  企业动态  VIP追踪 
电子测量>| 产品通报  企业动态  VIP追踪 
电子制造>| 产品通报  企业动态  VIP追踪 
应用案例>| 家庭电子  移动电子  办公电子  通信网络  交通工具  工业电子  安全电子  医疗电子  智能电网  固态照明 
工业控制>| 产品通报  企业动态  VIP追踪 
通信电子>| 产品通报  企业动态  VIP追踪 
交通工具>| 产品通报  企业动态  VIP追踪 
基础工业>| 产品通报  企业动态  VIP追踪 
农业科技>| 产品通报  企业动态  专家追踪 
信息服务>| 企业动态 
光电子>| 企业动态 
关于我们 ┋ 免责声明 ┋ 产品与服务 ┋ 联系我们 ┋ About 365PR ┋ Join 365PR
Copyright @ 2005-2008 365pr.net Ltd. All Rights Reserved. 深圳市产通互联网有限公司 版权所有
E-mail:postmaster@365pr.net 不良信息举报 备案号:粤ICP备06070889号