加入收藏
 免费注册
 用户登陆
首页 展示 供求 职场 技术 智造 职业 活动 视点 品牌 镨社区
今天是:2024年3月28日 星期四   您现在位于: 首页 →  产通直播 → STEAM(学术科研)
中科院自动化所在多模态神经信息编解码方面取得进展
2023/4/11 9:23:26     

按此在新窗口浏览图片

【产通社,4月11日讯】中国科学院(Chinese Academy of Sciences)官网消息,解码人类视觉神经表征是具有重要科学意义的挑战,可以揭示视觉处理机制并促进脑科学与人工智能的发展。然而,目前的神经解码方法难以泛化到训练数据以外的新类别,主要挑战在于现有方法未充分利用神经数据背后的多模态语义知识,且现有的可利用的配对(刺激-脑响应)训练数据较少。 

近日,自动化研究所神经计算与脑机交互团队将大脑、视觉和语言知识相结合,通过多模态学习实现了从人类脑活动中零样本地解码视觉新类别。相关研究成果以Decoding Visual Neural Representations by Multimodal Learning of Brain-Visual-Linguistic Features为题,发表在IEEE Transactions on Pattern Analysis and Machine Intelligence(IEEE TPAMI)上。人类对视觉刺激的感知和识别受到视觉特征和人们先前经验的影响,例如当人们看到一个熟悉的物体时,大脑会自然而然地检索与该物体相关的知识,如图1所示。基于此,本研究提出“脑-图-文”三模态联合学习框架,在使用实际呈现的视觉语义特征的同时,加入与该视觉目标对象相关的更丰富的语言语义特征,以更好地解码脑信号。 

研究证明,从人脑活动中解码新的视觉类别是可以实现的,且精度较高;使用视觉和语言特征的组合比仅使用其中之一的解码表现更好;在人脑语义表征过程中,视觉加工会受到语言的影响。 

该研究对人类视觉系统的理解有所启示,并有望为脑机接口技术提供新思路。本工作提出的方法具有三方面的潜在应用:作为一种神经语义解码工具,此方法将在新型读取人脑语义信息的神经假肢设备的开发中发挥重要作用,可为其奠定技术基础;作为神经编码工具,通过跨模态推断脑活动,用于研究视觉和语言特征如何在人类大脑皮层上表达,揭示哪些脑区具有多模态属性(即对视觉和语言特征敏感);作为类脑特性评估工具,测试哪个模型的(视觉或语言)表征更接近于人类脑活动,从而激励研究人员设计更加类脑的计算模型。 

研究工作得到科技部科技创新2030-“新一代人工智能”重大项目、国家自然科学基金和自动化所2035创新任务等的支持。为了促进该领域的持续发展,研究团队已将代码和新收集的三模态数据集开源。    
查询进一步信息,请访问官方网站http://www.cas.cn/syky/202304/t20230407_4883387.shtml,以及https://ieeexplore.ieee.org/document.10089190。(Donna Zhang,张底剪报)     (完)
→ 『关闭窗口』
 -----
 [ → 我要发表 ]
上篇文章:深圳大为创芯微电公司取得一种存储器的温度检测装等…
下篇文章:TDK Ventures通过投资初创公司促进创新
  → 评论内容 (点击查看)
您是否还没有 注册 或还没有 登陆 本站?!
 分类浏览
官网评测>| 官网  社区  APP 
STEAM>| 学术科研  产品艺术  技术规范  前沿学者 
半导体器件>| 产品通报  企业动态  VIP追踪 
电子元件>| 产品通报  企业动态  VIP追踪 
消费电子>| 产品通报  企业动态  VIP追踪 
商业设备>| 产品通报  企业动态  VIP追踪 
电机电气>| 产品通报  企业动态  VIP追踪 
电子材料>| 产品通报  企业动态  VIP追踪 
电子测量>| 产品通报  企业动态  VIP追踪 
电子制造>| 产品通报  企业动态  VIP追踪 
应用案例>| 家庭电子  移动电子  办公电子  通信网络  交通工具  工业电子  安全电子  医疗电子  智能电网  固态照明 
工业控制>| 产品通报  企业动态  VIP追踪 
通信电子>| 产品通报  企业动态  VIP追踪 
交通工具>| 产品通报  企业动态  VIP追踪 
基础工业>| 产品通报  企业动态  VIP追踪 
农业科技>| 产品通报  企业动态  专家追踪 
信息服务>| 企业动态 
光电子>| 企业动态 
关于我们 ┋ 免责声明 ┋ 产品与服务 ┋ 联系我们 ┋ About 365PR ┋ Join 365PR
Copyright @ 2005-2008 365pr.net Ltd. All Rights Reserved. 深圳市产通互联网有限公司 版权所有
E-mail:postmaster@365pr.net 不良信息举报 备案号:粤ICP备06070889号