0
席卷全球的缺芯大潮,让"芯片"、"缺芯"几乎举国皆知。
在轰轰烈烈的国产替代浪潮中,除了备受关注的后端处理器芯片,作为数据的直接来源,前端传感器芯片也将成为未来的重头戏。
传感器芯片领域,长久以来都是国外半导体巨头的盛宴,中国严重依赖进口,中高端产品的进口占比达80%。
这让传感器芯片的国产替代这条路,虽然步履稍显蹒跚,但也更加笃定。
籍由此,AI掘金志与视觉传感器芯片初创公司锐思智芯的CEO邓坚进行了一场对话,借其视角一探该市场现况。
"锐思智芯2019年才成立,是否会觉得时机较晚?"
锐思智芯CEO邓坚认为,其实不晚,甚至恰是时候:因传统图像传感器用于机器视觉存在缺陷。
此前市场大多聚焦于后端处理芯片,AI也更多基于此升级赋能;但前端的传感器芯片发展缓慢,现在已经成为机器视觉进一步升级的瓶颈。
具体来看,当下市场需求,前端传统CIS的帧率、数据量和动态范围三个核心要素已经难以满足计算机视觉的需求。
首先,帧率有限。
传统CIS是对场景内所有物体无差别地进行采集,然后以帧为单位的图像进行信号处理后输出到后端。
这个过程中,从曝光到数模转换,再到数据传输都需要时间,过程耗时越长,形成图像的帧率也就越低。
而帧与帧之间的因非连续性造成的信息缺失,增加了机器判断的难度。
第二,数据量大但有效性低。
通常传统CIS图像分辨率在百万像素以上输出帧图像,数据量非常大。而每帧之间存在大量的重复冗余信息,如不变的背景图像。由此产生了庞大的数据量,但有效性非常低。
第三,动态范围不足,环境的适应能力弱。
传统CIS的动态范围一般不超过70dB,远小于人眼的动态范围。在明暗变化很剧烈的情况下,传统视觉传感器经常会失效。因此,在机器视觉的应用中,经常出现环境光影响机器判断的情况。
邓坚表示,传统图像传感器带来的视觉系统本就不是为机器视觉而生,甚至很多特性与机器视觉的需求背道而驰。
以智慧城市的车辆识别应用为例,安装监控摄像头的目的,是为了准确捕获并识别车辆和驾驶员信息。
但在车辆高速运动以及拍摄环境都不可控的场景下,传统图像传感器不仅因低帧率和"超载"的数据量影响了图像瞬时截取,成像模糊成常态,也常因动态范围的限制,使得图像常出现过曝或清晰度不足的问题。
在过去十几年的拍摄时代,传统CIS的目标是拍出给人看的、色彩丰富的、静态的图片。但在人工智能时代的大背景下,机器视觉对传感器的帧率、数据量、动态范围以及功耗都有很高的要求,唯有革新前端CIS,才能更好地促进后端AI的发展。
锐思智芯认识到这一点,采用"Hybrid Vision"技术,研发出仿生视觉传感器芯片ALPIX。
ALPIX的目标,正是以机器视觉为核心,基于视觉传感器端进行革新。
锐思智芯ALPIX芯片
锐思智芯成立于2019年7月,是一家专注于新一代计算机视觉传感领域的芯片研发及整体方案提供商。
锐思智芯从新型传感器与机器视觉行业的发展状态切入,自主研发了仿生视觉传感器芯片ALPIX。
在行业中,与ALPIX类似的仿生视觉传感器也称为Event-based camera (事件驱动型相机)。
与传统图像传感器基于快门曝光,以帧的形式输出图像信息不同,仿生视觉传感器芯片是模仿人眼视网膜的工作原理,每个像素独立工作,通过感知外界光强变化,输出变化的脉冲信号,而光强无变化即不输出。这个输出的变化信号又称为事件信号。
传统CIS与事件驱动型相机工作原理示意
与传统CIS相比,仿生视觉传感器具有速度快(>5000 帧/s)、功耗低(几十mw)、数据量少、动态范围大(>120dB)的特点,能很好解决前面所述计算机视觉当前面临的一些痛点。
这些都使得仿生视觉传感器一经面市就引来巨头们增资加持,比如三星、索尼、华为、博世等皆进行相关芯片及应用的研发,而法国的创业公司Prophesee创立之初也获得Intel、博世等大厂投资。
然而在实际使用过程当中,很多场景既需要事件流信号来做快速预判,也需要传统图像来做精细判断。
锐思智芯意识到,融合仿生视觉传感器芯片及高端图像传感器芯片技术,或许是个突破口。
他们据此思路,将仿生视觉传感器芯片及高端图像传感器芯片技术融合,创造了"Hybrid Vision"技术。并基于该技术设计研发芯片ALPIX,既可输出事件流信号,也兼容输出高质量的图像信号。
这种二合一的功能,拥有仿生视觉传感器的低功耗、高速、数据效率高、动态范围高的特点。并且与同类竞品相比,ALPIX有效提高了芯片信噪比,改善噪声问题及暗光性能,满足客户的性能需求。
同时还可以输出传统图像信号,与现有的机器视觉算法完全兼容,让客户更易于开发相关算法及应用 ,且有效降低视觉系统方案的成本。
此外,由于底层芯片结构的不同,ALPIX在同样工艺情况下,像素面积更小,意味着更低的价格,更适合用于消费电子。
"市场上对这种融合的视觉传感器有非常大的需求,但是至今还没有能实现产品化的方案。现有的仿生视觉传感器虽然有些可以输出图像信息,但是其质量达不到跟传统CIS对标的程度,因此很多应用无法落地。"邓坚表示。
以上改善,都是安防监控、消费电子、手机、机器人、自动驾驶等等领域目前所需。
以安防为例,当前的安防系统,主要还是将前端的海量图像数据传输至后端服务器或云端进行存储或计算。
由于数据量太大,导致传输、存储及计算成本过高,并且很难进行数据追溯。
邓坚表示,基于ALPIX,可以在终端设置smart trigger(智能触发)功能,基于特定事件唤醒整个监控系统,并且通过边缘AI基于事件信息提取特征数据并标注,将数据高效传输给云端进行存储和计算,大幅下降整个系统的传输、存储、计算及检索的成本。
此外,由于ALPIX的高动态范围,使其在极端光照环境亦可连续地监控场景内人及物的变化,解决传统CIS环境适应力不足的痛。
ALPIX在安防领域应用示意
在智能家居领域,AlPIX的特性还可满足用户对隐私保护、低功耗、低系统成本等需求。
比如,ALPIX可以选择只输出事件流信号给机器"看",可用于看护、育婴等应用场景里的私密场所进行特定事件的探测及报警功能;还可用于智能门锁、门铃,通过事件流信号判别是否有人到访,再打开图像信号传输给用户;又或者用于空调、电视上,进行智能唤醒、智能调风或手势控制。
ALPIX在智能家居领域应用
在自动驾驶领域上,相比传统传感器,因ALPIX传感器从感知到制动所需的时间大大减少,缩短了汽车刹车时的反应时间,减少刹车距离,进一步提高行车安全;在动态范围上,ALPIX在像素设计上进行了优化,即便汽车在出隧道或夜间行驶时,也不会因环境的光线条件变化使得传感器失效。
作为机器视觉系统信息的直接来源,图像传感器与机器视觉有着"荣辱与共"的血脉关系。它决定了收集数据的有效性和质量,也间接决定了整个系统的能力。
"如果数据源头不佳,后端算法再高强大,都很难去弥补源头上信息的诠释。"邓坚补充说。
如今已有多家知名公司投身仿生视觉传感器芯片领域,如Sony(收购瑞士 Insightness)、 三星(投资瑞士 Inivation)、法国的 Prophesee 等。
中国不少大佬显然早也意识到了这一点,当锐思智芯带着特有的技术实力出现时,也吸引来产业链上巨头的目光。
市场潜力、技术稀缺性、产品化能力是大多数投资方考虑的核心要素。
近日锐思智芯宣布完成近亿元 Pre-A 轮融资。投资方中,有海康威视、耀途资本、追远创投、讯飞创投、舜宇中央研究院、全志科技、同创伟业,此外老股东联想创投、中科创星持续跟投。
锐思智芯挑的这块地,既是蕴藏潜在万亿市场的宝库,也是各大国际汽车厂商、手机厂商角逐的地盘,这江湖,波谲云诡,也着实险恶。
长期以来,CMOS市场被索尼、三星等日韩厂商主导。IHS Market数据显示,目前全球CMOS图像传感器市场,索尼的市场份额为50.1%,三星为20.5%,两个头部厂商就占据了超过70%的市场份额。两大巨头在传感器领域建立起铜墙铁壁,割据一方。
同时,三星和索尼通过兼并、收购等方式积极整合新的传感技术,迅速进入新的传感器领域。
"这几年他们把可以收购的技术、公司都进行了收购。"邓坚说。
技术的稀缺性、技术高门槛,让愿意深耕且能作出成绩的企业寥寥。
年轻的锐思智芯如何抗衡?
技术是锐思智芯的决战武器之一。
据悉,其目前已经申请超10项核心专利(欧盟及PCT专利),将从底层原理、数据格式等方面全方位保护公司的核心技术。
"在视觉传感器AI芯片领域,我们应该是中国唯一一家拥有完整核心技术独立自主专利的公司。"
锐思智芯虽然不足两岁,团队成员的资历却并不"年轻",实力强劲:
既有剑桥、瑞士苏黎世联邦高等理工学院、曼切斯特大学等知名院校的科研派,又有CSEM、NXP、ARM、安森美、飞思卡尔、Magic Leap、Intel等世界知名企业的技术派、经验派。
要知道,国际上该技术研究机构主要有瑞士联邦理工大学(ETH)、麻省理工大学(MIT)等,而锐思的技术源头就在瑞士,此前在此领域积累颇深。
"传感器芯片的设计链长,注重时间积累,事件相机上,团队至少有7年以上的经验。"
而三星和索尼等以收购为核心战略,一部分原因也因此前积累较少。
再者,与竞品相比,锐思智芯技术特点独特。
邓坚表示,"Hybrid Vision"技术使其芯片ALPIX可同时输出事件流信号及传统图像信号,更适合各种类型场景的视觉感知需求。并且用户开发难度降低,整个视觉系统的成本也有所下降。目前这是竞品还不具备的特点。
第三,市场够大。机器视觉领域之广,涉及消费电子、监控、自动驾驶、工业应用等等领域。
据Yole Development报告显示,2019年全球CIS市场规模约193亿美元,预计2021年达230亿美元。
但是如此广阔的市场,却没有真正的从信息采集端的智能化的解决方案,仿生视觉传感器芯片作为变革性技术,未来市场潜力不俗。
市场足够大,容纳得下足够多的玩家,这是三星、索尼们的机会,也是锐思智芯们的机会。
据悉,目前锐思已经有2颗芯片,目前正在迭代优化,即将进入量产阶段。
芯片缺货至此,作为一个创业公司为何能拿到产能?
邓坚解释,传感器产能的确非常有限,但这又是一个非常被看好的市场,各大代工厂愿意开放一部分产能给其看好的拥有新型传感器技术的初创公司。
机器视觉已无处不在。据统计,全世界80%的数据都是视频图像等非结构化数据,其体量将持续扩大。专家预测,全球机器视觉技术市场规模将于2023年增至248亿美元。
"产品不是设计出来的,产品是用出来。"邓坚强调,一个新的技术没办法去改变生活,只有新的产品才会改变生活。
在巨头布阵的市场中求生存,锐思对前辈保持尊敬同时,也不放弃自身的信仰,他们以夯实技术为基,在实践的应用中不断反馈、优化,努力把技术变成一个优秀的产品,一个能改变生活的产品。
未来,机器人、智能手机、无人驾驶、无人机、安防等领域,潜在市场规模在万亿级。
这个浩瀚的市场,未来的机器感知时代,需要更多的锐思智芯。雷锋网雷锋网雷锋网
雷峰网原创文章,未经授权禁止转载。详情见转载须知。