Prophesee的GenX320第五代DVS传感器产品参数介绍

2023-10-24

DVS(Dynamic vision sensor)公司Prophesee调整了其基于事件的(event-based)摄像头的规格,使其外形尺寸适用于始终在线的AIoT设备。Prophesee的CEO Luca Verre表示,与该公司100MP的第四代传感器相比,第五代GenX320已将分辨率降至320×320像素,芯片尺寸也缩小到13mm2,现在还包括便于下游处理的标准数据格式,以及可用于唤醒系统其它部分的超低功耗模式层次。  
Prophesee的GenX320第五代DVS传感器   Verre说:“基于事件的传感器技术目前正在消费类领域创造机会,更大的生态系统正在意识到这项技术,并有兴趣采用它。其实在三年前,我们就发现了很多机会,但这些机会不一定适合我们的第四代传感器。这就是我们开发第五代传感器的原因,它适用于出于成本、功耗和集成原因而需要非常小的传感器设备的应用。”   像DVS传感器这样基于事件的传感器是基于人类视网膜的生物学原理:它们只输出像素亮度的变化,而不是完整的图像帧。这样就能以较低的延迟产生低带宽数据,但仍能包含足够的场景信息。
处理这种低带宽数据所需的计算量较小,这意味着可以节省功耗。该技术对弱光条件的适应能力也很强。   Prophesee与Sony合作设计的上一代传感器已于2021年底量产。这种高清传感器是一种BSI(back-side illuminated)三维堆叠芯片,体积很小,首次用于消费类电子产品。  
Prophesee一直在与Qualcomm合作,演示这种传感器与Snapdragon mobile处理器的结合。Verre说,至少有两家手机厂商正在采用这种技术,Snapdragon加Prophesee组合的智能手机计划于2025年发布。这里的用例是融合全帧数据和事件数据,以提高智能手机摄像头的图像质量。使用Prophesee传感器检测照片中的运动,然后使用Prophesee的计算摄影算法进行修正,可以减少运动模糊。   GenX320具有分辨率低、功耗低和体积小的特点,其目标市场是AR/VR头戴式设备、安防和监控/检测系统、无触摸显示器、眼球跟踪和其他始终在线的IoT设备。不过,虽然仍采用BIS 3D堆叠设计,但这款传感器并非与Sony合作开发,而是由另一家代工厂制造。  
Verre说:“我们与Sony的关系非常好:我们共同开发了第四代传感器,而且我们还与Sony达成了共同进入市场的商业协议。因此,这种合作关系还在继续,但第五代传感器是由Prophesee设计、我们的代工合作伙伴制造,并由我们销售的。第四代和第五代传感器在市场定位上完全不同,传感器的分辨率也不同,适用于非常不同的用例,因此它们是互补的。没有重叠,这使得我们与Sony的市场战略非常直接。”  
接口和电源模式
Prophesee联合创始人兼CTO Christoph Posch表示,GenX320有几个与边缘AI和IoT应用相关的关键新功能。   他说:“以前我们的数据格式是非常规的,没人知道该如何处理,没人了解事件中动态视觉信息的编码。我们有非恒定的数据传输速率,也没有标准的数据格式或接口。我们意识到,所有这些因素都延缓了这项技术的应用。这就是为什么我们认为,需要设计一种更实用的传感器,可以集成到边缘AI视觉系统中,帮助潜在客户真正使用该系统。”   GenX320包括片上预处理,可根据需要将数据重新格式化为行业标准格式,并有三种接口可供选择:  
高带宽MIPI接口与应用处理器连接,在数据流之前使用完整的数字pipeline对数据进行预处理和过滤。
CPI接口(DCMI)连接低延迟应用中的微控制器。数据可汇总成二维直方图,供AI处理使用。
Prophesee现有的AER(address-event representation)接口完全绕过了数字预处理管道,可用于神经形态和spiking神经网络加速器。
GenX320还包括一系列低功耗模式。最低功耗模式用于始终在线的活动检测,功耗约为36µW。全激活模式的CPI接口功耗约为3.5mW,MIPI接口功耗约为20mW。  
Prophesee的GenX320第五代DVS传感器产品参数介绍 (https://ic.work/) 传感器 第1张
Prophesee的GenX30芯片,传感器芯片在顶部,处理器在底部。ESP指event signal processing pipeline。   Posch说:“我们可以通过逐级提升的电源模式,实现更高的分辨率和更智能的检测,直至最高的模式,即通过输出接口将所有事件数据完全流式传输到应用处理器。在最高和最低功耗模式之间,我们可以根据场景中发生的情况,在这些功耗模式之间进行循环。”   这些模式使用了一种称为GCD(global contrast detector)的新功能,它可以检测移动、进入或离开视场的物体。像素阵列被细分为若干区域,这些区域可以小到4×4像素。Prophesee使用阵列每个区域光电二极管的光电流总和(由硬件计算)来检测该区域的活动。在最低功耗模式下,有9个检测区域;其效果就好像总共100,000个像素中只有9个像素被打开,因此可以节省大量电力。   RISC-V CPU还可用于对感兴趣的区域进行灵活编程,最多可同时对12个区域进行编程。  
Prophesee的GenX320第五代DVS传感器产品参数介绍 (https://ic.work/) 传感器 第2张
GCD(Global contrast detection)是一项新功能,可将阵列分成若干区域,以节省功耗。这些区域的活动检测可用于唤醒系统的其它部分。  
商业应用‍‍
GenX320传感器已被20多家领先客户用于原型开发。   Zinn Labs利用GenX360为AR/VR眼镜开发了基于事件的眼球追踪器,其产生的数据量比全帧摄像头少100倍。这意味着眼球追踪可以在1kHz或更高的频率下完成,比全帧相机快10倍。快速眼球追踪的应用之一是有焦点渲染:我们的眼睛不会同时聚焦于整个场景,因此,如果我们知道眼睛在看哪里,选择性地渲染我们正在看的部分就可以节省计算量。Verre说,Zinn Labs正在与客户合作,争取明年开始量产Prophesee GenX320传感器。   英国初创公司Ultraleap已将GenX320用于无触摸HMI的手部跟踪系统。Verre说,这种应用的照明条件可能很苛刻,但Prophesee传感器具有很高的动态范围(120dB以上)。  
Xperi的DMS采用了Prophesee的DVS传感器   Xperi已经有了一套使用Prophesee上一代传感器的DMS,现在它正在考虑将GenX360用于智能设备和家用电器。台湾的YunX计划明年向市场推出由GenX320驱动的隐私保护型跌倒探测系统。   Verre表示,Prophesee将在未来几周内展示GenX320与用于边缘AI的STM32微控制器的搭配,随后还将展示更多采用不同类型处理器的参考设计。GenX320的生产将于明年上半年加速。

文章推荐

相关推荐