Prophesee,这家由Luca Verre领航的法国初创企业,已经释放出一股强劲的创新之力,其第五代事件驱动成像传感器的问世,标志着其在技术领域的持续进化与活力。Verre及其团队正全情投入,探索并开拓适合神经形态视觉系统应用场景的广阔市场疆域。
目前的一个关键未知因素在于,增强现实和虚拟现实领域是否能够成为Prophesee实现规模化市场的理想舞台。若答案为肯定,则还需考量这一转变的实现路径及其所需的时间周期。
在二零一四年,一种新颖的、深受自然现象启迪的视觉技术展现出非凡的价值,它不仅激发了一群学术精英与商业领袖携手,共同创立了Prophesee公司,而且还为追求创新与突破的领域注入了源源不断的活力。这一成就标志着知识与企业界之间合作的新篇章,预示着技术发展与商业实践相互融合的巨大潜力。
Prophesee并未开创神经形态计算这一领域,然而它却成为了该技术商业化应用的先锋。不同于按照连续帧的方式记录视像数据,人类视觉系统以一种更为高效、智能的方式运作——仅捕捉到空间与时间中的变化,并通过这种稀疏但高度相关信息的有效传递,将之直接输入至大脑处理。
尽管Prophesee在全球范围内已显著推动了事件驱动传感器的技术发展与应用普及,目前尚未能有效地构建起庞大且成熟的市场生态。
鉴于多数企业已深谙帧为基础的影视制作之道,转向全然生疏的技术模式无异于一场革命性变革,对于该创业新秀而言,这一转变过程势必漫长且充满挑战,毕竟其市场声量微弱且业龄尚浅。
另一方面,Prophesee拥有多元化的机遇,正积极将他们创新的事件驱动技术渗透至广泛的应用领域,从医疗保健与工业生产到汽车制造业乃至智能手机产业,无不展现出其技术的广阔适用性及潜在影响力。
反之,尽管广袤的机遇为新兴企业提供了无限可能,却也可能构成其发展的桎梏——过泛的目标导向往往令团队陷入四面出击的困局之中,从而导致资源分配不均及效能低下。
尽管Prophesee已在工业领域建立了稳固的地位,然而为了进一步推动其发展和扩大市场份额,公司仍需着力开发一款能激发广泛市场需求的突破性产品。
为了进一步提升其产品在技术领域的领先地位并开拓新的市场领域,Prophesee公司近期推出了革新性的第五代基于事件的传感器——GenX320 Event-Based Metavision。这款传感器以其小巧紧凑的体积和超低功耗特性,开辟了前所未有的应用可能性,尤其是针对消费级边缘设备,如增强现实与虚拟现实头戴式设备、安全监控及检测系统以及具备全天候在线功能的智能互联装置等。这些创新突破使得Prophesee能够以前所未有的方式深入并拓展传统上被视为技术边界之外的应用场景。
当初,Ryad Benosman、Bernard Gilly、Christoph Posch与Luca Verre共同创办这家公司之际,或许未曾料想会将增强现实或虚拟现实技术纳入其发展规划之中。
今日之际,Prophesee视近眼显示技术与基于神经形态计算的微小图像传感器为理想匹配,这被其CEO Verre所确认。他阐述了Apple即将面世的Vision Pro等产品采用了数十个微小摄像头的事实,这一行为激发了AR/VR领域的成熟发展。这些微型、超低功耗的摄像头能够实现高速眼球追踪,营造出流畅无延时的沉浸体验。对于头戴式显示器系统的架构师而言,具备“减缓热升温和降低运算负担”能力的摄像头显得尤为关键。
Prophesee公司的战略举措昭示了其在过去三年间致力于在消费领域推广革命性的事件驱动视觉技术,特别是在智能手机领域的广泛应用与探索。
最初,Prophesee携手Sony,联合推出了其划时代的第四代事件驱动型影像感测芯片,这一创新之举旨在革新智能手机领域的视觉体验。Prophesee通过将事件数据与帧内RGB信息无缝整合,成功实现了对图像质量的优化升级,为用户带来了更为卓越的画面表现。
为了进一步释放此技术潜能,并拓展其在移动平台上的应用范畴,Prophesee与Qualcomm通力合作,共同研发了一款去噪软件解决方案。该软件方案巧妙地部署于Qualcomm Snapdragon系列移动处理器内的数字信号处理单元上,旨在通过智能算法有效降低图像噪声,进一步提升视觉呈现的清晰度与细腻度。这一合作不仅将Prophesee的创新技术引入了更广阔的市场,也为用户带来了更为沉浸、高质量的视觉体验。
无疑,与Sony以及Qualcomm这两家在移动通信行业享有盛誉的领军企业建立合作关系,对Prophesee的发展轨迹产生了深远的影响,并极大地增强了其在市场上的信心和影响力。通过这一战略联盟,Prophesee不仅获得了行业的广泛认可,还为其产品推向终端消费者铺平了道路。
Verre承认,消费者对于此项技术的热情超出了他们的预期,从而引发了其对物联网、增强现实、虚拟现实以及头戴式显示设备应用场景的关注。在Apple与Meta的带领下,众多企业纷纷涌入了AR/VR领域。然而,Prophesee所设计的专为智能手机配置的第四代事件驱动传感器却未能涉足这一消费市场。
在探索以神经形态技术为基础构建视觉系统的领域中,Prophesee并非唯一的创新者。
正如Yole Intelligence的首席分析师Pierre Cambou所阐述的,Prophesee的诞生深植于知识之林——源自20世纪80年代加州理工学院Carver Meed教授及其团队开创性地研发出的神经形态硅视网膜,以及Misha Mahowald后续的贡献。
Cambou详述,在这棵知识树上茁壮成长的新兴企业有:IniVation、位于上海的Celepixel、同样扎根于苏黎世的Insightness以及Alpsentek。此外,Cambou提及,三星集团在2014年亦踏入神经形态技术领域,推出了DVS。
Cambou预计,Prophesee极有潜力脱颖而出,成就最为卓著的地位,这一预见基于其知识产权的卓越价值、由Verre领军的一流管理团队及通过战略性合作伙伴关系联结业内先锋者的运营模式。
Prophesey并非常规的应用导向企业;其核心在于芯片制造,这是一块至关重要的基石。公司所研发基于神经形态计算的成像传感器,旨在突破现有界限,不再局限于稀有技术范畴。为实现这一目标,降低成本、缩小物理尺寸和降低能耗已成为当务之急,力求在大规模生产中得到广泛应用,从而将这项创新推向更广泛的市场与应用领域。
通过携手Tower Jazz精心培育第三代VGA传感器的研发,并进而与Sony共同开拓第四代高清传感器的技术前沿,Prophesee企业行进在一条富有开创性的旅程之上。Verre强调,与Sony的合作为Prophesee提供了宝贵的机遇,使其得以引入Sony的wafer-to-wafer堆叠技术。借助这一先进技术,初创企业成功地将基于事件驱动的感测元件实现了体积上的显著缩减,不仅达到了惊人的十倍之巨,更在感知领域内掀起了创新的浪潮。
Verre阐述道:"自去年底我们发布第四代成像传感器以来,我们见证了全新的机遇涌现。不仅在先前通过采用第三代传感器而繁荣发展的工业领域中发现了更多的增长点,而且在消费者市场也迎来了前所未有的机遇和需求"。
Prophesee近期发布的GenX320芯片展现出卓越尺寸效益,其紧凑的3x4毫米设计彰显了精巧与高效。此款芯片在法国由ST公司生产制造。初创企业Prophesee指出,该芯片配备了分辨率为320×320、像素间距为6.3μm的BSI堆叠事件视觉传感器,其光学格式仅为1/5英寸,体现了极高的紧凑性与先进性。Verre强调,尽管Sony在开发基于事件的第四代CMOS传感器时将"堆叠"视为一项革新工艺技术,现今这一技术已在包括CMOS传感器在内的多个领域得到了广泛应用,并且ST公司已将其成功集成于ToF传感器之中。
在评估颠覆性技术创新型初创公司的战略时,一个被业界较少触及的关键考量点在于:该企业是否已充分筹备,确保其客户有能力、并顺利过渡到采用创新技术以替代现有陈旧方案的过程。
Verre阐述道,引发潜在客户的震撼并展示创新颠覆性技术的魅力实属一桩盛事;然而,在此惊艳感之后,保证实现这些承诺方是另一层挑战与复杂度所在。对于Tier 1供应商或是汽车原始设备制造商而言,他们渴求初创企业能够具备全方位的能力支持,确保客户能无缝无碍地进行转换和过渡,从而简化流程并降低风险。
关于GenX320,Prophesee确信其准备工作已臻完善。
在GenX中集成了一种片上电源管理机制,其显著功能在于将传感器的工作能耗降低到了微瓦级以下,具体数值低于36μW,并且实现了名为"智能唤醒事件"的功能。通过按序唤醒像素,GenX能够在从超低功耗状态即从微瓦至毫瓦级别范围内灵活切换,展现出其在能效优化方面的卓越性能。
Prophesee致力于使GenX 320全面兼容人工智能应用,为此,他们精心设计并集成了一系列"智慧模块",旨在将事件数据精炼和优化。这种前瞻性的布局是基于对基于事件的传感器输出信息与广泛采用的人工智能处理器之间无缝协作需求的深刻洞察。通过此策略,Prophesee确保了GenX 320能够流畅地接纳并运行人工智能算法,从而为未来的智能应用铺平道路。
Verre阐述道:"在理想的境况下,人们渴望拥有一款专门针对处理源自事件驱动型感测器数据的神经形态运算架构。尽管Prophesee业已与Intel的Loihi系统,以及Brainchip等领域的神经形态计算企业展开了紧密的合作,然而,Verre强调这些先进的平台并未实现普及化应用。"
为了确保GenX能与广泛采用的平台无缝协作,Verre建议我们应预处理基于事件的数据流。
第三点要说明的是,Prophesee正提供MIPI或CPI数据输出接口,以实现与嵌入式处理器平台之间的低延迟互联。Verre指出,此举旨在促进基于事件的影像传感技术的整合与现有生态系统的融合。
The mass production of Prophesee GenX320 has commenced, accompanied by the initiation of its widespread distribution.
"Approximately a year ago, Prophesee had already dispatched engineering samples to select clients," Verre stated, "inviting approximately thirty to forty of them to evaluate and integrate our technology into their projects."
除了发布先进的GenX成像传感器之外,Prophesee公司还全面提供了包含摄像头组件在内的完整解决方案,以及可供用户深入探索与评估的工具包。
在这一批约莫三十至四十位的合作伙伴群体之中,Prophesee公司特别倚重于Zinn Labs、Xperi以及Ultraleap这些先驱性的支持者。
Zinn Labs坐落于加州Menlo Park的心脏地带,致力于研发一款革命性的先进视线追踪系统,此系统整合了Prophesee Metavision事件传感器,适用于移动与汽车领域中的头戴式显示器。该技术的核心亮点是其采用的GenX320传感器,具备应对眼球及注目点以毫秒为单位动态变化需求的强大能力。
Verre阐述道,Zinn Labs所采用基于事件驱动的感应器,在实现眼球追踪时可达到惊人的1KHz或更高频率,同时将功耗控制在了微不足道的20mW以内。这一创新与传统的基于帧传感器相比,展现出了压倒性的优势:后者即便是最先进的眼球追踪技术也仅为60-120Hz,且功耗高达2瓦特之巨。
通过采用这些尖端的技术和设计,Zinn Labs不仅为用户提供了前所未有的高精度与低能耗的眼球追踪体验,还极大地扩展了头戴式显示器在各类应用中的潜力。
作为GenX320的早期采纳者之一,Xperi公司已承诺采用Prophesee的事件驱动传感器技术,并进一步展示了对驾驶员监控系统的兴趣。Verre指出,在专注于基于GenX320的智能消费类产品的同时,他们正在进行原型设计工作,这些产品主要面向家庭应用领域。
Prophesee已携手行业翘楚Ultraleap,共同推动手部追踪系统的前沿发展。根据Verre的阐述,采用Prophesee基于事件处理技术的核心亮点在于其卓越的高速追踪性能与极低能耗特性,这无疑为Ultraleap的产品线注入了强大的竞争力和创新力。
Verra阐述道,在手部追踪及眼部追踪的应用中,事件驱动型图像传感器兼备高速响应与能效优势,成功攻克了"帧率相机体系的核心难题"。他指出,每秒高达500-600帧的捕获能力,意味着会产生大量数据流,而在能源消耗限定下实现即时处理则是一项严峻挑战。
Yole的Cambou观察到,在2019年Prophesee选择与Sony携手合作,并采纳了晶片堆叠工艺技术之时,这一战略举措已为未来成功打下了坚实的基础。紧随其后的研发成果,两款先进的传感器不仅将业界像素尺寸精炼至前所未有的微米级级别,更树立了新的技术里程碑。
Cambou阐述道:"凭借其出色的解析度及光学配置,Prophesee的技术已广泛覆盖至包括移动应用、汽车行业以及工业领域在内的众多行业范畴。"
Cambou阐述道:"如此激进的革新——构建一个非冯氏诺曼异步装置,以微秒级的精确度生成图像数据,达到科学相机每秒仅能捕捉10,000帧的速度上限,这无异于外星智慧在时代广场上的突然降临。他进一步说明,这种技术更像是纸上谈兵、极具视觉冲击力的概念,对那些需要时间去探索并学习如何有效应用此类技术的市场而言,似乎显得过于超前且难以触及。"
正如Clayton Christensen在其《创新者的困境》一书中所阐述的,那些凭借颠覆性技术起家的初创企业,面临着在既存市场中寻觅立足之地或是开辟全新领域以求发展的两难抉择。Cambou深谙此理,并坚信Prophesee应迅速普及其技术和生态系统知识,以此为己开拓发展空间。
当前,Prophesee的团队规模达到130人,其中多数成员驻扎于法国。公司已在上海拓展了业务足迹,并设立有专业办事处。这间企业成功吸引了包括英特尔、博世、小米和雷诺在内的顶尖投资者的支持与合作。
相比之下,专注于摄像机生产的竞争对手往往聚焦于更广泛的市场范围;然而,Prophesee则独具匠心地致力于研发传感器,其战略目标锁定在边缘设备市场的蓝海。Verre阐述道:“目前,在全球范围内,逾越了500亿个摄像头正被广泛部署与应用,其中每年的出货量大约为30亿之多。这些摄像头的主要用途在于执行传感任务,例如驱动工业机械中的计算摄影、监控系统或是机器视觉技术。”在上述领域中,Prophesee视其创新技术拥有着更为广阔的应用潜力与机遇。
Prophesee所商业化并导入影像市场的颠覆性技术,即便在初期并未立即获得广泛接纳,却已激起了诸多业者的高度关注与兴趣。然而,要使这些神经形态感测器最终能以革命性的变革影响各个行业的摄影设备,与AI的普及路径相类同,Yole公司的Pierre Cambou预见了这样一个可能性:在不远的将来,Prophesee有望实现年收入突破十亿美元大关,在全球CMOS影像传感器市场的份额攀升至5%,这一愿景似乎比业界普遍预期的时刻更为接近。Cambou坚信,这天的到来或许将超越当前的预测范畴。