【产通社,8月18日讯】清华大学新闻中心(Tsinghua University News Center)官网消息,有一种芯片,能让机器模仿人类视觉系统的特征观察世界——这乍一听似乎有些科幻,然而,清华大学教授施路平、赵蓉带领的科研团队已经将这种芯片变成了现实,它的名字叫做“天眸芯”。 “天眸芯”的研发开始于2018年,之前的传统视觉感知芯片由于受到“功耗墙”和“带宽墙”的限制,在应对极端场景时,往往面临失真、失效或高延迟的问题,严重影响了系统的稳定性和安全性。为此,团队提出了一种基于视觉原语的互补双通路类脑视觉感知新范式。 以人眼与照相机等器械捕捉信息为例:一般来说,照相机在照片拍摄时,会将每个部分平均地进行采样,无法特别关注到画面中的危险。然而,人类的眼睛除了能看到外界丰富的内容和颜色外,还有着挑重点的能力,它能自动聚焦关键信息,忽略次要细节,并且在危险出现时瞬间切换注意力。 “天眸芯”以此种视觉机制为灵感,借鉴人类视觉系统的基本原理,模仿人类视觉系统的特征,将感知到的视觉信号拆解为光强、时间变化、空间变化等不同的视觉元素,再有机组合形成两条优势互补、信息完备的视觉感知通路。一条通路提供高清晰、色彩丰富的画面内容,同时模仿人眼抓重点的能力,让注意力所在处的内容细节更加丰富的同时,比传统视觉芯片更加“节能”;另一条通路主要负责处理突发情况,能够快速聚焦并做出相应反应,弥补了传统视觉芯片在应对危机时的不足与迟缓。这套系统模仿人脑的信息处理模式,将视觉元素分配到不同的感知通路中,再通过模仿人脑响应机制,对相关信息进行连接和协同,最终实现信息的高效、稳定传输。 这种创新设计带来了突破性的性能提升,不仅让芯片的带宽降低了90%,消耗更少,更让其实现了每秒可处理高达10000帧的超高速画面(远超电影的24帧/秒)、10bit高精度、130db高动态范围的视觉信息采集范围。换句话说,“天眸芯”不仅看得快、看得清,还特别省电。 基于该芯片,团队还自主研发了高性能软件、算法和类脑数据集,并在开放环境车载平台上进行了性能验证。团队利用“天眸芯”自行搭建了一套汽车自动驾驶系统,并在北京郊区进行了真实道路测试,在多种极端场景下实现了低延迟、高性能的实时感知推理,在智能无人、AI智能体等领域展现了巨大应用潜力。 查询进一步信息,请访问官方网站https://www.tsinghua.edu.cn/info/3155/120121.htm。(镨元素,产通数造)
|