Prophesee的GenX320第五代DVS传感器产品参数介绍

DVS（Dynamic vision sensor）公司Prophesee调整了其基于事件的（event-based）摄像头的规格，使其外形尺寸适用于始终在线的AIoT设备。Prophesee的CEO Luca Verre表示，与该公司100MP的第四代传感器相比，第五代GenX320已将分辨率降至320x320像素，芯片尺寸也缩小到13mm2，现在还包括便于下游处理的标准数据格式，以及可用于唤醒系统其它部分的超低功耗模式层次。  
Prophesee的GenX320第五代DVS传感器   Verre说：“基于事件的传感器技术目前正在消费类领域创造机会，更大的生态系统正在意识到这项技术，并有兴趣采用它。其实在三年前，我们就发现了很多机会，但这些机会不一定适合我们的第四代传感器。这就是我们开发第五代传感器的原因，它适用于出于成本、功耗和集成原因而需要非常小的传感器设备的应用。”   像DVS传感器这样基于事件的传感器是基于人类视网膜的生物学原理：它们只输出像素亮度的变化，而不是完整的图像帧。这样就能以较低的延迟产生低带宽数据，但仍能包含足够的场景信息。
处理这种低带宽数据所需的计算量较小，这意味着可以节省功耗。该技术对弱光条件的适应能力也很强。   Prophesee与Sony合作设计的上一代传感器已于2021年底量产。这种高清传感器是一种BSI（back-side illuminated）三维堆叠芯片，体积很小，首次用于消费类电子产品。  
Prophesee一直在与Qualcomm合作，演示这种传感器与Snapdragon mobile处理器的结合。Verre说，至少有两家手机厂商正在采用这种技术，Snapdragon加Prophesee组合的智能手机计划于2025年发布。这里的用例是融合全帧数据和事件数据，以提高智能手机摄像头的图像质量。使用Prophesee传感器检测照片中的运动，然后使用Prophesee的计算摄影算法进行修正，可以减少运动模糊。   GenX320具有分辨率低、功耗低和体积小的特点，其目标市场是AR/VR头戴式设备、安防和监控/检测系统、无触摸显示器、眼球跟踪和其他始终在线的IoT设备。不过，虽然仍采用BIS 3D堆叠设计，但这款传感器并非与Sony合作开发，而是由另一家代工厂制造。  
Verre说：“我们与Sony的关系非常好：我们共同开发了第四代传感器，而且我们还与Sony达成了共同进入市场的商业协议。因此，这种合作关系还在继续，但第五代传感器是由Prophesee设计、我们的代工合作伙伴制造，并由我们销售的。第四代和第五代传感器在市场定位上完全不同，传感器的分辨率也不同，适用于非常不同的用例，因此它们是互补的。没有重叠，这使得我们与Sony的市场战略非常直接。”  
接口和电源模式
Prophesee联合创始人兼CTO Christoph Posch表示，GenX320有几个与边缘AI和IoT应用相关的关键新功能。   他说：“以前我们的数据格式是非常规的，没人知道该如何处理，没人了解事件中动态视觉信息的编码。我们有非恒定的数据传输速率，也没有标准的数据格式或接口。我们意识到，所有这些因素都延缓了这项技术的应用。这就是为什么我们认为，需要设计一种更实用的传感器，可以集成到边缘AI视觉系统中，帮助潜在客户真正使用该系统。”   GenX320包括片上预处理，可根据需要将数据重新格式化为行业标准格式，并有三种接口可供选择：  
高带宽MIPI接口与应用处理器连接，在数据流之前使用完整的数字pipeline对数据进行预处理和过滤。
CPI接口（DCMI）连接低延迟应用中的微控制器。数据可汇总成二维直方图，供AI处理使用。
Prophesee现有的AER（address-event representation）接口完全绕过了数字预处理管道，可用于神经形态和spiking神经网络加速器。
GenX320还包括一系列低功耗模式。最低功耗模式用于始终在线的活动检测，功耗约为36µW。全激活模式的CPI接口功耗约为3.5mW，MIPI接口功耗约为20mW。  

Prophesee的GenX30芯片，传感器芯片在顶部，处理器在底部。ESP指event signal processing pipeline。   Posch说：“我们可以通过逐级提升的电源模式，实现更高的分辨率和更智能的检测，直至最高的模式，即通过输出接口将所有事件数据完全流式传输到应用处理器。在最高和最低功耗模式之间，我们可以根据场景中发生的情况，在这些功耗模式之间进行循环。”   这些模式使用了一种称为GCD（global contrast detector）的新功能，它可以检测移动、进入或离开视场的物体。像素阵列被细分为若干区域，这些区域可以小到4x4像素。Prophesee使用阵列每个区域光电二极管的光电流总和（由硬件计算）来检测该区域的活动。在最低功耗模式下，有9个检测区域；其效果就好像总共100,000个像素中只有9个像素被打开，因此可以节省大量电力。   RISC-V CPU还可用于对感兴趣的区域进行灵活编程，最多可同时对12个区域进行编程。  

GCD（Global contrast detection）是一项新功能，可将阵列分成若干区域，以节省功耗。这些区域的活动检测可用于唤醒系统的其它部分。  
商业应用‍‍
GenX320传感器已被20多家领先客户用于原型开发。   Zinn Labs利用GenX360为AR/VR眼镜开发了基于事件的眼球追踪器，其产生的数据量比全帧摄像头少100倍。这意味着眼球追踪可以在1kHz或更高的频率下完成，比全帧相机快10倍。快速眼球追踪的应用之一是有焦点渲染：我们的眼睛不会同时聚焦于整个场景，因此，如果我们知道眼睛在看哪里，选择性地渲染我们正在看的部分就可以节省计算量。Verre说，Zinn Labs正在与客户合作，争取明年开始量产Prophesee GenX320传感器。   英国初创公司Ultraleap已将GenX320用于无触摸HMI的手部跟踪系统。Verre说，这种应用的照明条件可能很苛刻，但Prophesee传感器具有很高的动态范围（120dB以上）。  
Xperi的DMS采用了Prophesee的DVS传感器   Xperi已经有了一套使用Prophesee上一代传感器的DMS，现在它正在考虑将GenX360用于智能设备和家用电器。台湾的YunX计划明年向市场推出由GenX320驱动的隐私保护型跌倒探测系统。   Verre表示，Prophesee将在未来几周内展示GenX320与用于边缘AI的STM32微控制器的搭配，随后还将展示更多采用不同类型处理器的参考设计。GenX320的生产将于明年上半年加速。