Nature新研究:摄像头是天生的神经网络,速度超越传统方法千倍

作者:Charles Q. Choi等

机器之心编译

机器之心编辑部

摄像头 CMOS 会成为新一代 GPU 吗?

作为各家厂商比拼的重点,今天手机上的摄像头已经做到了一亿像素,而摄像头感光器件也是典型的半导体芯片,本质是二极管,这类精密的结构用来做神经网络运算效果如何?最新一期《自然》杂志上的研究告诉我们:速度是传统处理方法的上千倍。

对于计算机视觉,镜头是它的眼睛,获取丰富的视觉信息后就可以传递给处理单元,并依靠它真金棋牌实现各种视觉能力。这是 CV 最常规的范式,也

最符合我们的直觉,但是你会发现有两大问题。

首先,从镜头传递信息给处理单元,这一步并不简单,尤其是在使用云计算的情况下,这都怪视觉信息太丰富了。其次,处理单元的工作也不简单,计算量庞大的视觉模型常常让人望而却步。

而在这篇 Nature 最新研究中,研究者表明图像传感器本身也可以「印刻」神经网络,它能同时担当感光与处理图像这两大功能,且还没有延迟。更重要的是,这种机器视觉芯片比传统卷积神经网络要快上千倍。只要一块芯片,相机秒变智能终端。

与人脑一样,新芯片能以纳秒级的速度感知、分类简单的图像。

除了快以外,因为芯片采用的基本元件是光电二极管,只依靠光就能「发电」并完成计算,运行速度受限于电路中电子的速度。

目前,这项由维也纳科技大学提交的研究已发表在 3 月 4 号的《Nature》杂志上。

为芯片印刻神经网络

为了将神经网络「印刻」到图像传感器上,研究者在芯片上构造了一种光电二极管网络,这些光电二极管非常微小,且对光非常敏感。我们可以通过改变电压来增加或减少每个二极管对光的响应,从而调整每个二极管的灵敏度。

实际上,这些光电传感器网络就等同于神经网络,它们能够执行简单的计算任务。改变光电二极管的光响应强度会改变网络中的连接强度,也就类似于神经网络中的权重。因此,该芯片巧妙地将光学传感与神经形态计算相结合。

a 为神经网络的二极管阵列,具有相同颜色的子像素会并联在一起;b 为光电二极管阵列中单个像素的电路图;c 与 d 就是我们熟悉的神经网络模型,它们可以「内嵌」到该芯片中。

传感器是由一组像素组成,且每个像素代表一个神经元。同时,每个像素再依次由若干个子像素组成,每个子像素代表一个突触。每个光电二极管都基于一层二硒化钨 ( tungsten diselenide ),是一种对光有响应且可调的二维半导体。这种可调节的光响应度就类似于神经网络中的权重。

(责任编辑:真金棋牌)

本文地址:/shangcheng/20200914/10336.html

上一篇:美国加州医生:想知道中国是否会援助加州医疗物资 下一篇:克拉克34+8+13 周琦20+12 史蒂芬森31+7 新疆双杀辽宁

相关文章

  1. 克拉克34+8+13 周琦20+12 史

    双方数据辽宁(19-10):史蒂芬森31分7篮板2抢断,韩德君20分11篮板3封盖,高诗岩14分4篮板5助攻,巴斯22分4篮板,李晓旭6分4篮板,赵继伟10分5篮板7助攻。新疆(22-6):克拉克34分8篮板...

  2. 美国加州医生:想知道中

    最近一周,耶鲁大学、约翰·霍普金斯大学等美国多家科研学术机构频频与中国一线专家和医护人员以视频连线的形式交流新冠肺炎的救治与防控经验。约翰·霍普金斯医学院传染病专家...

  3. 葬礼当天,“首尔市长性

    当地时间7月13日下午2点,女秘书的律师团队召开了新闻发布会。在会上,韩国女性热线电话和韩国性暴力救济中心的官员们,呼吁当局对此案继续进行调查,并表示:受害人鼓足勇气...

  4. 赵正真金棋牌永背后的女

    据中国经济周刊1月29日报道,2019年1月15日晚,陕西省委原书记赵正永接受调查的消息对外公布。有知情人士向《中国经济周刊》记者透露,与赵正永关系密切的“女港商”刘娟亦...

  5. “共享护士”到家哎悄然

    (赵晓)打开手机APP,手动下单,即可呼叫护士到家中提供打针、输液、换药等服务。当下,山东、福建等地悄然兴起“共享护士”医疗模式,医疗卫生领域搭上真金棋牌“共...

  6. 美芯片禁令15日真金棋牌

    (台北讯)美国政府针对中国电信巨头华为的芯片禁令将于9月15日生效,专家预测华为手机业务尤其是高端手机业务可支撑半年,但当芯片备货用完后,有关业务就会遇到巨大挑战。不...

在线评论

想说什么就说点什么吧! * 为必填字段

今日头条
  • 赵正真金棋牌永背后的女港商刘娟 套现数十亿
    赵正真金棋牌永背后的女港

    据中国经济周刊1月29日报道,2019年1月15日晚,陕西省委原书记赵正永接受调查的消息对外公布。有知情人士向《中国经济周刊》记者透露,与赵正永关系密切的“女港商”刘娟亦 ...详情

  • 株洲市工商联协调银行送去 救命钱 133真金棋牌家民营企业获得融资贷款
    株洲市工商联协调银行送去

    座谈会现场。红网时刻株洲5月13日讯 你们提出的企业资金问题,我们将尽力协调。 5月13日下午,株洲 温暖企业、共克时艰 惠企政策宣讲和融资对接进商协会活动走进株洲市浙江商会, ...详情

  • 防止疫情反弹 我县对近期全县疫情防真金棋牌控重点工作做出了安排部署
    防止疫情反弹 我县对近期全

    6月17日下午,县新冠肺炎疫情防控工作推进会在县会议中心一楼会议厅召开。县委副书记、县应对新冠肺炎疫情工作领导小组副组长、办公室主任王恩社,副县长、县应对新冠肺炎疫情 ...详情

  • 25种图书荣膺 2020年度 最美 称号
    25种图书荣膺 2020年度 最美

    荣膺本年度 最美 称号的图书。11月12日,2020年度 最美的书 评选揭晓,《书艺问道:吕敬人书籍设计说》《东坡乐府雅集》《便形鸟》《江苏老行当百业写真》等来自2020年度 最美的书 ...详情

  • 鲸图出行与去哪儿网达成贵宾厅服务合作,高铁休息权益正式上线
    鲸图出行与去哪儿网达成贵

    近日,去哪儿网与苏州程旅网络科技有限公司就高铁出行贵宾厅业务达成合作,双方将围绕休闲出行人群的出行增值服务,整合各自优势资源,为更多会员提供更加方便快捷的出行体验 ...详情

人气点击

+