3D视觉技术和3D传感器初探

2023-07-08

工业3D视觉,为智能制造打开新“视界”

1969年,第一片CCD图像传感器在美国贝尔实验室诞生,它为数字影像产业的发展打开了一扇新的大门。从此,人们的日常生活、生产都与影像、视觉相联系。

机器视觉的世界也在萌芽,从黑白到彩色,从低分辨率到高分辨率,从静态到动态。而现在,我们要让机器去了解真实的3D世界,让3D的影像出现在我们的面前,这就是所谓的“第四次视觉革命”。第四次视觉变革的核心是3D传感器产业的迅速发展。

机器视觉从之前备宏蠢的2D平面进化到3D立体“视界”,我们常见的刷脸支付、Face ID、VR、无人便利店、智能机器人等产品技术,背后关键的 科技 便是3D视觉技术。而第四次的视觉革命与工业互联网的结合,也让实体经济与技术价值最大化,开始逐步向真实的产业场景、生产效率与产业可行性进发。

用一个词来形容3D机器视觉与工业网络之间的联系,最恰当的形容就是:“未来的工业网络将会建立在3D机器视觉的基础上,以及人工智能的认知系统。机器视觉技术在工业界的运用,早已不是新鲜事,经过三十多年的发展,在产业中的作用也逐渐显现出来。

在工业视觉技术中,2 D是最早应用于自动制造领域的技术,但是2 D技术一般仅用于处理平面的问题,而对具有高信息量的对象,例如曲面、弧度等,二维视觉很难实现,从而推动了三维视觉的发展。与二维图像相比,3D图像对周围光线的影响不大,具有更高的准确度和可靠性,能够实现对高速运动物体的形状、色彩对比度、空间坐标等的实时监测。三维可视化技术能够很好地解决目前2 D技术不能解决的许多工业领域的问题,同时也是2 D技术的一个重要补充。近年来,随着消费电子、 汽车 、半导体等精密加工领域的需求越来越大,高精度3D视觉技术也逐渐成为了一个热门话题。

工业三维可视化的研究方向包括三大领域:尺寸和缺陷检测、智能制造和自主导航。近两年来,工业3D视觉技术的应用发生了巨大的转变,从单一的产品质量检验到了全产品的制造。

在生产线上绝袭,在此以前,工业3D可视化仅限于单个场景,例如最常用的质量检验。比如,在智能手机的制造过程中,主要包括主板、零部件组装、包装和出货三个方面。所以,工业3D视觉质量的质量检验也是在这三个环节中进行的。而如今,由于三维视觉技术的融合,使得从原材料到包装检验的各个环节,都能实现多个领域的应用。例如,在流水线上的下料、零件的焊接、喷涂、装配等,都可以在三维视觉中使用。

当然,2 D视觉技术在工业生产中的应用还没有被彻底抛弃。3D视觉技术将会是二维技术的一个重要补充,它将被应用到元件的测试中,比如对 SIM卡的插槽,电池模块,摄像头模块的尺寸,以及摄像头模块的安装,大部分厂家都会提供二维/三维的组合。

不论是单个场景的运用,或是多个工艺方案的组合,3D机器视觉在工业生产中都扮演着举足轻重的角色。但在高精密探测系统中,关键部件的研制,与国外相比技术的差距还是较大,短时间内难以超越。

事实上,3D视觉技术在世界范围内的发展,也是在2014年左右。在中国持续向国外转移和更新产业链的同时,国内的研究人员也在逐步增加3D视觉技术的投资。但在产业上,因为产业的多样性、技术壁垒、场景等因素,大多数企业都会选择在一个垂直的方向发展。3D可视化的硬件技术水平是有限的,随着 AI技术的发展,能够满足部分高精度的探测要求,在某种程度上弥补了硬件方面的缺陷。

1.技术与产品需要持续升级。工业3D 机器视觉成像技术不断发展,但在底层的视觉硬件设备中绕不开的卡脖子技术就是芯片和光学镜头,这部分仍然是国外厂商的主场。而集成的3D机器视觉目前依然没有具备抗环境光干扰能力强、测距精度高、分辨高和成本低等优点于一身的 3D 传感器。目前 3D 视觉的应用还是依据具体的使用场景和预算来选择相机,然后根据相机成像结果来进行算法定制开发。这种成本高、周期久的应用模式严重限制了 3D 视觉在实际场景中的使用。

2.市场与供应链的不成熟、不完善。对于一些需要采购3D视觉的产品的厂商来说,前期的产仿陪品量需求较少,在这种情况下,工业3D视觉厂商无法通过规模化的手段分摊产品成本,而市场中有很大的一部分潜在用户都是对价格以及供应链敏感的用户,处于早期发展阶段的工业3D视觉产品撬动市场较困难。

4.生产线的适配与周期长。千行百业的产线定制化需求使得设备具备非标性,通用性差,对于工厂来说不同的业务场景、生产环节,甚至不同工厂之间的需求都不尽相同,制造过程中的多品种、小批量影响企业的改造难度。设备交付之后还需要经过一段时间的调试,最终与产线适配才可以,存在一定的周期影响着企业的自动化改造积极性。

这种需求制约着三维视觉技术在实际应用中的应用。目前,3D视觉技术还处在起步阶段,还没有形成大规模的商用场景,而且还没有形成统一的生产模式,整个市场都是分散的,碎片化的,3D视觉技术还得在各个领域中 探索 ,找到自己的优势,完善自己的产品,提高自己的服务水平,为产业的升级做贡献。

3D视觉传

视觉传感的360问答工作原理

光电传感器包难府样五果们知含一个光传感元件,而视觉传感器具有从一整幅图像捕获光线的数以千计的。图像的清晰和细腻程度通常用分辨率来衡量艺吸扬陆呼弱额那室省,以像素数量表示。B本亮论药肉艺作乡并anner 工程公司提供的部分视觉传感器能够捕获 130 万像素。因此,无论距离目标数米或数厘米远,传感器都能“看到”十分细腻的目标图像。

在捕获阿模规配调端图像之后,视觉传感器将其与内存中存储的基准图像进行比较,以做出分今少族绍正什裂儿威错析。例如,若视觉丰手编先马治虽决局传感器被设定为辨别正确地插有八颗螺栓的机器部件,则传感器知道应该拒收只有七颗螺栓的部件,或者螺栓未对准的部件。此外,无论该机器队脸过部件位于视场中的哪个位置,无论该部件是否在 360 度范围内旋转,视觉传感器都能做出判断。

视觉源于生物界获取外部环境信息的一种方式,是自然界生物获取信息的最有效手段,是生物智能的核心组成顶克四作呼角之一。人类80%的信现齐科心风村殖息都是依靠视觉获取的,基于村灯息脱官袁到这一启发研究人员开始为机械至业种圆完占降目施安装“眼睛”使得机器跟人类一样通过“看”获取外界信息,由此诞资陈更精生了一门新兴学科——计算机视觉,人们通过左命展城德层祖花力突对生物视觉系统的研究从而模仿制作机器视觉系统,尽管与人类视觉系统相差很大,但是这对传感器技术而言是突破性的进步。视觉传感器技术的实质就是图像额龙煤出钱诗非影具处理技术,通过截取物体表面的信号绘制成图像从而呈现在研究人员的面前。

视觉传感器具有从一整幅图像捕获光线的数以千计的像素。真探历高图像的清晰和细腻程度通常用分辨率来衡量,以像素数量表示。在捕获图像之后,视觉传感器将其与内存中存储的基准图像进行比较,以做出分析。例如,若视觉传感器被设定为辨别正确地插有八颗螺栓的机器部件,则传感器知道应该拒收只有七颗螺栓的部件,或者螺栓未对准的部件。此外,无论该机器部件位于视场中的哪个位置,无论该部件是否在 360 度范围内旋转,视觉传感器都能做出判断视觉传感技术的出现解决了其他传感器因场地大小限制或检测设备庞大而无法操作的问题,由此广受工业制造界的欢迎。

视觉传感技术包括3D视觉传感技术,3D视觉传感器具有广泛的用途,比如多媒体手机、网络摄像、数码相机、机器人视觉导航、汽车安全系统、生物医学像素分析、人机界面、虚拟现实、监控、工业检测、无线远距离传感、显微镜技术、天文观察、海洋自主导航、科学仪器等等。这些不同的应用均是基于3D视觉图像传感器技术。特别是3D影像技术在工业控制、汽车自主导航中具有急迫的应用。

3D视觉技术又是什么?

前段时间国内备受关注的两大手机品牌,苹果、华为相继发布2019年度最新旗舰手机。无论是iPhone 11还是华为Mate 30 Pro,两者均基于3D传感技术进行深度强化。3D传感究竟有何魅力,竟让一众主流手机品牌如此钟情?

  智能手机厂商钟情3D传感摄像头

  2017年起至今苹果一直推崇基于3D传感技术的Face ID,由此实现安全快捷的3D面部识别,可极大提升验证和支付等环节的便利性。为了实现3D传感与全面屏的完美融合,OPPO Find X采用的是全隐藏式3D摄像头模组,在解锁时镜头自动弹出进行3D人脸识别,独特的伸缩设计至今仍被众多用户津津乐道。

  (手机前置摄像模组里面的3D传感模组)

  当前应用在手机端的3D传感技术方案主要为3D结构光及TOF(光飞行时间法),苹果、OPPO Find X、小米以及华为Mate20 Pro设计上使用的3D结构光技术,OPPO R17 Pro、华为Mate 30 Pro、vivo陆续加入新的尝试,其3D深感摄像头均采用TOF技术。基于3D传感应用的创新体验彻底打开了人们的想象空间,手机厂商加速布局的原因正是看重其赋能智慧终端“看懂”世界的能力。

  3D视觉技术:结构光和TOF有何区别?

  什么是3D视觉技术?即是通过3D摄像头能够采集视野内空间每个点位的三维座标信息,通过算法复原智能获取三维立体成像,不会轻易受到外界环境、复杂光线的影响,技术更加稳定,能够解决以往二维体验和安全性较差的问题。目前的智能手机领域采用的3D视觉技术解决方案主要是:3D结构光(Structured Light)和TOF飞行时间法(Time-of-Flight)。

  (3D传感技术可感知物体的3D结构)

  3D结构光(Structured Light)是将激光散斑图像投射到物体表面,由摄像头接收采集物体表面反射的信息,根据物体造成的光信号变化计算出物体位置和深度信息,识别精度能达到1mm,在性能相当的情况下,结构光比ToF消耗的功耗更少。目前苹果全系支持Face ID的机型、市面上主流的3D刷脸支付均为3D结构光技术,更为适合应用在近距离面部识别验证等场景。

  TOF飞行时间法(Time-of-Flight)则是通过专用传感器,捕捉近红外光从发射到接收的飞行时间差来判断并计算出物体的距离信息,这种方式具有实时性较好的特点,相对3D结构光算法比较简单,可测量较远距离(一般在100m 以内),比如华为Mate 30 Pro推出的“隔空操控”操作功能便基于TOF技术捕捉手势动作,相对来说TOF 更加适合远距离的应用。两种技术解决方案各有优势,适配于不用的应用需求及其领域,可以肯定的是,3D视觉技术已经成为智能终端必不可少的AI“慧眼”。

  国内3D视觉技术发展现状

  3D视觉技术在众多领域具有极高的战略意义,国内一些雄厚技术实力的企业群雄并起,在该领域展开深入研究,目前中国3D人脸识别落地应用居全球领先水平。 值得一提的是,国内3D视觉技术独角兽奥比中光,是唯一可实现量产结构光3D传感摄像头的中国企业,3D传感专利数与苹果、微软等并列世界前三,其3D视觉模组、算法以及配套解决方案可广泛适配于多品牌、多形态的智能终端,更是为3D视觉领域发展开拓广泛的应用场景。比如OPPO Find X、支付宝刷脸支付便是采用奥比中光3D视觉模组的方案。

  (国内首条刷脸乘车地铁采用奥比中光3D人脸识别技术)

  神通广大的3D视觉技术

  除了在旗舰手机以及刷脸支付、刷脸过闸机领域的应用场景布局之外,3D视觉方案几乎无所不能,在智能家居、智能安防、汽车电子、工业测量、新零售、智能物流等领域发挥重要作用,堪称赋能产业创新的最大推力。

  以我们每个人息息相关的智能家居领域为例,3D视觉可以令智能家电获得感知物体形态和距离的能力,为机器人增加“眼睛”智能识别不同物体的分类等;3D视觉所衍生的手势识别、骨骼识别可以让你用手势操控家电,开启智能家居的新时代。

  而在工业自动化领域,3D视觉技术同样有着巨大的商业价值。当机械臂或者机器人利用3D感知物体的大小、形态之后,可以实现对不同形状的物体进行高度自动化操作,不再局限于处理单一形态的物体,驱动工业生产力迎来创新变革。

  不难看出,无论是在涉及衣食住行的民用领域,还是在提高生产效率的工业领域,3D视觉对于提升终端智慧化程度极为关键,这也便解释了为什么众多手机品牌如此钟情于3D视觉技术。一句赋能智慧终端“看懂”世界颇具深意,3D视觉技术在未来大有可为。

文章推荐

相关推荐