文:黄翠萍
10年前,物联网进入了一个飞速发展的阶段,5G技术的突破进一步为“万物互联”的大趋势提供了推力。根据loT Analytics 预测,2025年全球IoT连接数将较2021年增长121%,2021-2025年CAGR达22%。在“人联网”趋于饱和的今天,越来越多的目光转向了IoT技术。
我们很荣幸地邀请到万佳安RTC终端研发技术主管 黄翠萍老师,来谈谈IoT产品的用户体验,以及如何克服终端算力限制带来的种种挑战。
采访对象
黄翠萍
万佳安RTC终端研发技术主管
黄翠萍,万佳安RTC终端研发技术主管。曾就职于华为2012实验室、华大基因、腾讯TEG香农实验室。专注于音视频领域18年,主导RTC实时通讯的设计和落地实践,目前是万佳安RTC终端研发负责人,聚焦RTC传输的QoE体验提升。
#1
IoT的普及已然万事俱备
LiveVideoStack:老师在进入万佳安之前,曾在华为2012实验室、华大基因、腾讯TEG香农实验室任职,拥有非常丰富的从业经历。这期间,既有您个人职业上的发展,同时也在见证RTC技术的演进。当您回顾目前的职业经历时,您倾向于把它分为几个阶段?
黄翠萍: 就个人经历和理解,音视频的发展经历,大致分为如下四个阶段:
第一阶段:音频通话业务
2000年左右,那时使用手机的人很少,座机只有个别富裕人家有,电话费非常贵。记得大学那阵,电话费4角钱一分钟,每次打电话都非常惜字如金。2005年进华为后,一直做音频通讯业务。做过窄带、2G、3G网络通话等业务。当时这块做的比较大的是华为和中兴。那些年大家实实在在把话费给降下来了。
2011年微信起来,颠覆了之前大家通讯方式。电话通话量逐年下降。这块业务也就冷下来了。
第二阶段:视频点播直播
2012年前后,通讯网络从2G/3G快速过渡到4G,移动端视频点播和直播业务开始兴起。长视频、短视频、直播业务逐渐火热起来。可惜华为虽然很早就投入这块技术研发,但相对于有内容有流量的互联网公司。华为没有优势。
第三阶段:在线教育在线会议
2018年左右,开源了近十年的WebRTC业务开始渐渐火起来了,起因是在线教育业务遇到了焦虑的中国家长。这期间兴起了51Talk、VIPKID、好未来网校等很多在线教育公司。并且2020年疫情爆发,在线会议、在线课堂业务激增。RTC业务一下子爆发起来。
第四阶段:IoT万物互联
2023年国内疫情放开,大家开始回归正常生活,线上会议量大幅度下降;K12教培被限制,在线教育业务大幅度降低。RTC业务生存空间不乐观;短视频、带货直播业务虽然体量非常大,但增长接近天花板。个人认为未来的业务量应该会在IoT万物互联行业上。虽然由于各种原因5G的落地被打岔,但万物互联应该是大趋势。
这个可以从互联网发展史分析,互联网经历了Web1.0、Web2.0。目前处于Web2.0到Web3.0变革期。
Web 1.0人和计算机互联。大家上网主要目的是通过计算机获取信息,学习知识。
Web 2.0是人和人的互联。这时大家更多是通过互联网建立社交关系、朋友圈。
Web3.0应该是人和万物互联。大家希望可以用网络控制生活的方方面面。
媒体行业经历这么多年的发展,和很多行业融合非常深:比如银行安全认证、公共安全监控、智能家居、远程医疗等行业。已经储备了一定的业务模型;随着5G网络的普及,同时入网设备数量上限不再是瓶颈,IoT在网络层面上道路已经打通;轻量级芯片发展逐渐成熟,终端侧也已经相对完善。IoT普及的条件都已经满足。这个发展是水到渠成的事情。
LiveVideoStack:我们比较好奇的是,您在音视频技术、在RTC技术领域是一入行就专注在QoE体验这个方向,还是在工作过程中逐渐积累经验、产生了兴趣?哪段任职经历或者说是项目,让您对音视频的QoE体验有了印象深刻的理解或者思考?
黄翠萍: 大学毕业进了中央研究院(2012实验室前身)的媒体工程部。当时一款MRS6100产品全球发货,常年需要分析全球的海量音频通讯数据。那时的QoE手段也没有现在这么成熟,要维护这么大的海量业务非常辛苦。当时华为通过了英国电信的BT认证,所有问题都要三分钟内快速恢复,七十二小时内给出详细报告。那段时间每天头上都像悬着一把剑。所以提升QoE体验,年年都是团队的重点改进目标。
并且音视频业务对网络依赖特别大,做好网络监控和预警尤其重要。团队每个同学都已经达成共识,无论做哪个产品都要把QoE体验、传输的QoS优化作为首要任务。
#2
ToB到ToC:“研发人员不
能停留在自己的舒适圈里”
LiveVideoStack:老师既做过ToB也做过ToC的音视频方案,您认为这两者最大的区别在哪里?这种工作经历上的丰富度,对您理解技术有起到帮助吗?
黄翠萍:ToB和ToC因为面向的客户、业务场景不同,研发风格差异非常大。
面向企业的ToB业务模式固定,客户需求明确,用户体量大,对版本质量要求高。以华为为例,他有一整套系统完善的IPD流程,保证发布版本质量稳定;另外像华为更倾向在技术的深度上深挖井,比较崇尚工匠精神。里面很多同学在技术细节钻研非常深。
面向消费者的ToC业务用户需求变化非常快。一个idea被多家公司看到,大家都想快速抢占市场,只能敏捷开发加快速迭代。以腾讯为例,一个方案可能没那么完美,但可以满足80%的场景需求,就可以上。有点像用钢笔画目标,用铅笔画路径;另外像腾讯更倾向在技术的广度上不断拓展。里面很多小伙伴视野非常广,可以快速切换做各种不同的产品。
两种研发风格各有优点,都能在各自的土壤上绽放出自己的美丽。这种经历对自己的帮助就是要改变惯性思维,研发人员不能停留在自己的舒适圈里,应该更多的理解客户群体,适应不同的开发模式。
LiveVideoStack:ToC的IoT产品在用户体验的要求上有什么特点?
黄翠萍:面向消费者的IoT产品,用户需求变化也非常快。虽然受硬件研发周期的制约,迭代速度略慢于移动端的产品。但IoT的设备经常不和用户在一起,很多操作没有那么便利。万一出质量问题,不能快速恢复,被用户感知,用户满意度会打折扣。
所以ToC的IoT产品既要使用敏捷开发加快速的迭代模式,快速响应消费者的需求,又要参考华为的IPD流程,对版本质量做很严格的把控。
#3
IoT的挑战:依据场景的
适配和调优
LiveVideoStack:IoT设备通常受限于有限的算力和资源。在您看来,IoT上的算力限制对于业务和质量管理有哪些主要影响?
黄翠萍:IoT设备的资源比起移动端或者服务器相差非常大:编译链版本低、CPU主频不高、内存空间有限。导致很多成熟的算法都不能直接应用在IoT设备上,需要不断的适配和优化。
比方说大多数IoT设备最高仅能支持c++11的编译链,很多更低端的设备只能支持gcc编译链,WebRTC模块代码不能直接拿来使用;一些使用太阳板或者电池的低功耗产品,不能使用很复杂的算法。在落地的时候要做一些取舍、剪切和性能优化;对抗弱网传输需要对媒体数据进行缓存,但设备内存空间有限,不允许缓存太多数据,需要根据实际场景进行适配调整。
LiveVideoStack:针对这些限制,有什么有效的策略或技术可以用来确保IoT业务的顺利运行和高质量的性能?
黄翠萍:如上所说,虽然RTC技术已经非常成熟,但是在IoT产品中,我们不能简单的把WebRTC的QoS算法和自己之前的优化经验直接落地。
比方说常用的NACK算法,之前需要注意的就是尽量防止发送端的NACK大量超发对网络的冲击,导致网络环境更加恶化。但在IoT产品,我们还受到设备紧张内存的限制,无法给NACK预留足够大的缓存空间去适配弱网。当我们设备感知到网络出现大量申请NACK重传,但设备缓存都没有这个包,无法响应网络的时,可以通过主动降分辨率并且及时刷新IDR帧,缓解这个问题。
LiveVideoStack:IoT场景下QoS策略的优化方式能分为哪几类?目前最有潜力带来QoS提升的优化方式是什么?
黄翠萍:首先我们用RTC替换了传统的UDT通讯协议,这种通讯协议是以一定的延时换取稳定的传输。不满足人们对低延时的要求。
其次我们在网络质量实时监控中做了很多的工作。IoT设备都是无线入网,无线网络质量因为各种原因,网络质量波动很大。准确评估当前的网络质量和瓶颈带宽,是整个QoS策略的核心。它决定我们如何分配资源,调整其他QoS的工作模式。
最后就是受IoT硬件资源的限制,QoS的很多具体策略也要随之调整。IoT设备没有充足的内存资源,不能缓存太多数据;IoT设备算力紧张,不能使用过于复杂的算法。所以很多策略也就要随之适配和调优。
LiveVideoStack:非常开心今天能和黄老师进行采访,剧透一下您在LiveVideoStackCon的独家内容吧!
黄翠萍:本次分享聚焦RTC的QoS手段如何在IoT产品进行深度打磨,可能没有那么多新的技术,但是会分享在新的应用场景下,遇到的困难和解决的思路,希望对大家有所帮助。