视海芯图Transformer加速SoC助力AR/VR设备性能升级

2023-05-12

于2023年5月12日,第十三届松山湖中国集成电路创新峰会在广东省东莞市的松山湖凯悦酒店盛大开幕。此次盛会由行业权威机构——中国半导体行业协会IC设计分会、领先科技企业芯原微电子以及地方政府代表松山湖管委会联合主办。活动得到了东莞松山湖集成电路设计服务中心与东莞市生技置业有限公司的强力支持和精心组织。电子发烧友网荣幸地受邀参与此番盛会,并进行了全面而深入的现场报道。

此次论坛汇聚了来自全球各地的业界精英、创新者及决策者,共同探讨了集成电路领域的最新动态、关键技术、发展趋势以及面临的挑战。通过深度交流与分享,与会者们不仅加深了对行业现状的理解,还对未来的发展路径形成了共识。电子发烧友网作为参与媒体,将现场的精彩瞬间和深入洞见以详实的内容呈现给广大读者,为科技界的洞察提供了一扇窗口。

此次盛会的成功举办,不仅体现了中国集成电路产业的强大凝聚力与创新活力,也为推动技术进步、促进国际合作以及加快行业发展的步伐起到了积极的推动作用。通过各方的努力与合作,我们有理由相信,未来的集成电路领域将展现出更加辉煌的前景。

成都视海芯图微电子有限公司的创立者许达文先生深谙此道,他指出众多人工智能模型的基础架构正由卷积神经网络转向转换器。相较于传统方法,转换器在处理终端芯片中的密集访存与不规则内存访问问题上展现出了显著优势,并且有效提升了神经处理器单元的使用效率。

视海芯图公司已隆重发布其自主研发的Transformer加速系统级芯片——SH1580型号,此款芯片以先进的12纳米制程工艺为核心构建,融合了自研神经网络处理器、高性能中央处理器以及卓越的图像处理能力。在算力方面,该芯片展现出强大的计算效能,具体为每秒2万亿次操作@INT8精度。对于图像处理任务,SH1580支持包括AI-HDR及三维时间飞行在内的高级功能,全面满足对高效率、高性能的严格需求。

视海芯图Transformer加速SoC助力AR/VR设备性能升级 (https://ic.work/) 虚拟现实 第1张

许达文阐述,SH1580芯片的内核技术是基于PTPU体系结构,此设计集成了自定义电路,以适应并优化Transformer存储架构与存取流程。此外,视海芯图研发团队进一步创新性地融入了可重构数据流机制,从而实现了对CNN和Transformer模型的高效支持与全面兼容。

在应用增强现实与虚拟现实技术时,旨在实现数字与物理世界深层次融合的关键在于将数字化信息精准地映射至实际环境中。这一过程不仅依赖于场景识别能力的强大支撑,还需要一个功能完善的支持系统来整合混合输入模式,包括但不限于图像捕捉、语音指令等多种形式的输入方式。特别是对于图像输入环节而言,处理二维及三维图像的复杂性要求我们采用一套高效且适应性强的技术方案。

在此背景下,基于Transformer架构的设计展现出其独特优势,能够有效地应对上述挑战并提供解决方案。Transformer作为一种先进的深度学习框架,以其自注意力机制为核心,能够在处理序列化数据时展现卓越性能,尤其适用于处理多模态输入和理解复杂场景的任务需求。因此,在构建AR/VR应用场景的算法体系中,采用基于Transformer的设计可以极大地提升系统对图像、语音等信息的理解与响应效率,从而实现更加流畅、自然的人机交互体验。

在增强现实与虚拟现实设备的核心处理器SH1580芯片上,其在空间定位与地图构建领域展现出非凡效能,不仅能够精确地执行特征点匹配任务,如利用LoFTR实现高效精准的点对点对应,还能胜任地点识别作业,通过SVT-Net捕捉并标识关键场景元素。更令人惊艳的是,该芯片还支持在AR/VR应用环境中实施深度理解与精细处理,例如,采用SegFormer技术进行语义分割,赋予设备智能解析环境信息的能力;同时,通过Point-Bert实现三维重建功能,构建出丰富立体的空间模型。

相较于传统的卷积神经网络算法,在面对稀疏纹理匹配等复杂场景时往往显得力不从心,而基于Transformer的架构则以其独特的自注意力机制,展现出强大的无纹理特征识别能力,为AR/VR设备在现实与虚拟世界间的无缝融合提供了强有力的技术支持。

值得一提的是,对于依赖于高效能、低能耗的场景,如增强现实和虚拟现实设备而言,性能与能源效率之间的平衡至关重要。SH1580芯片,采用先进的12纳米制程技术打造,在设计上融合了优化的电源管理和芯片架构理念,其在闲置状态下的功耗仅为46毫瓦,更是在超低功耗模式下将能效表现提升至6毫瓦这一卓越水平。此款芯片已在实际应用中,特别是在AR眼镜领域,展现出其出色的性能和能效比优势。

文章推荐

相关推荐