IoT如何克服终端算力限制的挑战

文:黄翠萍,10年前，物联网进入了一个飞速发展的阶段，5G技术的突破进一步为“万物互联”的大趋势提供了推力。根据loT Analytics 预测，2025年全球IoT连接数将较2021年增长121%，2021-2025年CAGR达22%。在“人联网”趋于饱和的今天，越来越多的目光转向了IoT技术。
我们很荣幸地邀请到万佳安RTC终端研发技术主管 黄翠萍老师，来谈谈IoT产品的用户体验，以及如何克服终端算力限制带来的种种挑战。
采访对象
 
黄翠萍
万佳安RTC终端研发技术主管
黄翠萍，万佳安RTC终端研发技术主管。曾就职于华为2012实验室、华大基因、腾讯TEG香农实验室。专注于音视频领域18年，主导RTC实时通讯的设计和落地实践，目前是万佳安RTC终端研发负责人，聚焦RTC传输的QoE体验提升。
#1,IoT的普及已然万事俱备,LiveVideoStack：老师在进入万佳安之前，曾在华为2012实验室、华大基因、腾讯TEG香农实验室任职，拥有非常丰富的从业经历。这期间，既有您个人职业上的发展，同时也在见证RTC技术的演进。当您回顾目前的职业经历时，您倾向于把它分为几个阶段？
黄翠萍： 就个人经历和理解，音视频的发展经历，大致分为如下四个阶段>
第一阶段：音频通话业务,2000年左右，那时使用手机的人很少，座机只有个别富裕人家有，电话费非常贵。记得大学那阵，电话费4角钱一分钟，每次打电话都非常惜字如金。2005年进华为后，一直做音频通讯业务。做过窄带、2G、3G网络通话等业务。当时这块做的比较大的是华为和中兴。那些年大家实实在在把话费给降下来了。
2011年微信起来，颠覆了之前大家通讯方式。电话通话量逐年下降。这块业务也就冷下来了。
第二阶段：视频点播直播,2012年前后，通讯网络从2G/3G快速过渡到4G，移动端视频点播和直播业务开始兴起。长视频、短视频、直播业务逐渐火热起来。可惜华为虽然很早就投入这块技术研发，但相对于有内容有流量的互联网公司。华为没有优势。
第三阶段：在线教育在线会议,2018年左右，开源了近十年的WebRTC业务开始渐渐火起来了，起因是在线教育业务遇到了焦虑的中国家长。这期间兴起了51Talk、VIPKID、好未来网校等很多在线教育公司。并且2020年疫情爆发，在线会议、在线课堂业务激增。RTC业务一下子爆发起来。
第四阶段：IoT万物互联,2023年国内疫情放开，大家开始回归正常生活，线上会议量大幅度下降；K12教培被限制，在线教育业务大幅度降低。RTC业务生存空间不乐观；短视频、带货直播业务虽然体量非常大，但增长接近天花板。个人认为未来的业务量应该会在IoT万物互联行业上。虽然由于各种原因5G的落地被打岔，但万物互联应该是大趋势。
这个可以从互联网发展史分析，互联网经历了Web1.0、Web2.0。目前处于Web2.0到Web3.0变革期。
Web 1.0人和计算机互联。大家上网主要目的是通过计算机获取信息，学习知识。
Web 2.0是人和人的互联。这时大家更多是通过互联网建立社交关系、朋友圈。
Web3.0应该是人和万物互联。大家希望可以用网络控制生活的方方面面。
媒体行业经历这么多年的发展，和很多行业融合非常深：比如银行安全认证、公共安全监控、智能家居、远程医疗等行业。已经储备了一定的业务模型；随着5G网络的普及，同时入网设备数量上限不再是瓶颈，IoT在网络层面上道路已经打通；轻量级芯片发展逐渐成熟，终端侧也已经相对完善。IoT普及的条件都已经满足。这个发展是水到渠成的事情。
LiveVideoStack：我们比较好奇的是，您在音视频技术、在RTC技术领域是一入行就专注在QoE体验这个方向，还是在工作过程中逐渐积累经验、产生了兴趣？哪段任职经历或者说是项目，让您对音视频的QoE体验有了印象深刻的理解或者思考？
黄翠萍： 大学毕业进了中央研究院（2012实验室前身）的媒体工程部。当时一款MRS6100产品全球发货，常年需要分析全球的海量音频通讯数据。那时的QoE手段也没有现在这么成熟，要维护这么大的海量业务非常辛苦。当时华为通过了英国电信的BT认证，所有问题都要三分钟内快速恢复，七十二小时内给出详细报告。那段时间每天头上都像悬着一把剑。所以提升QoE体验，年年都是团队的重点改进目标。
并且音视频业务对网络依赖特别大，做好网络监控和预警尤其重要。团队每个同学都已经达成共识，无论做哪个产品都要把QoE体验、传输的QoS优化作为首要任务。
#2,ToB到ToC：“研发人员不,能停留在自己的舒适圈里”,LiveVideoStack：老师既做过ToB也做过ToC的音视频方案，您认为这两者最大的区别在哪里？这种工作经历上的丰富度，对您理解技术有起到帮助吗？
黄翠萍：ToB和ToC因为面向的客户、业务场景不同，研发风格差异非常大。
面向企业的ToB业务模式固定，客户需求明确，用户体量大，对版本质量要求高。以华为为例，他有一整套系统完善的IPD流程，保证发布版本质量稳定；另外像华为更倾向在技术的深度上深挖井，比较崇尚工匠精神。里面很多同学在技术细节钻研非常深。
面向消费者的ToC业务用户需求变化非常快。一个idea被多家公司看到，大家都想快速抢占市场，只能敏捷开发加快速迭代。以腾讯为例，一个方案可能没那么完美，但可以满足80%的场景需求，就可以上。有点像用钢笔画目标，用铅笔画路径；另外像腾讯更倾向在技术的广度上不断拓展。里面很多小伙伴视野非常广，可以快速切换做各种不同的产品。
两种研发风格各有优点，都能在各自的土壤上绽放出自己的美丽。这种经历对自己的帮助就是要改变惯性思维，研发人员不能停留在自己的舒适圈里，应该更多的理解客户群体，适应不同的开发模式。
LiveVideoStack：ToC的IoT产品在用户体验的要求上有什么特点？
黄翠萍：面向消费者的IoT产品，用户需求变化也非常快。虽然受硬件研发周期的制约，迭代速度略慢于移动端的产品。但IoT的设备经常不和用户在一起，很多操作没有那么便利。万一出质量问题，不能快速恢复，被用户感知，用户满意度会打折扣。
所以ToC的IoT产品既要使用敏捷开发加快速的迭代模式，快速响应消费者的需求，又要参考华为的IPD流程，对版本质量做很严格的把控。
#3,IoT的挑战：依据场景的,适配和调优,LiveVideoStack：IoT设备通常受限于有限的算力和资源。在您看来，IoT上的算力限制对于业务和质量管理有哪些主要影响？
黄翠萍：IoT设备的资源比起移动端或者服务器相差非常大：编译链版本低、CPU主频不高、内存空间有限。导致很多成熟的算法都不能直接应用在IoT设备上，需要不断的适配和优化。
比方说大多数IoT设备最高仅能支持c++11的编译链，很多更低端的设备只能支持gcc编译链，WebRTC模块代码不能直接拿来使用；一些使用太阳板或者电池的低功耗产品，不能使用很复杂的算法。在落地的时候要做一些取舍、剪切和性能优化；对抗弱网传输需要对媒体数据进行缓存，但设备内存空间有限，不允许缓存太多数据，需要根据实际场景进行适配调整。
LiveVideoStack：针对这些限制，有什么有效的策略或技术可以用来确保IoT业务的顺利运行和高质量的性能？
黄翠萍：如上所说，虽然RTC技术已经非常成熟，但是在IoT产品中，我们不能简单的把WebRTC的QoS算法和自己之前的优化经验直接落地。
比方说常用的NACK算法，之前需要注意的就是尽量防止发送端的NACK大量超发对网络的冲击，导致网络环境更加恶化。但在IoT产品，我们还受到设备紧张内存的限制，无法给NACK预留足够大的缓存空间去适配弱网。当我们设备感知到网络出现大量申请NACK重传，但设备缓存都没有这个包，无法响应网络的时，可以通过主动降分辨率并且及时刷新IDR帧，缓解这个问题。
LiveVideoStack：IoT场景下QoS策略的优化方式能分为哪几类？目前最有潜力带来QoS提升的优化方式是什么？
黄翠萍：首先我们用RTC替换了传统的UDT通讯协议，这种通讯协议是以一定的延时换取稳定的传输。不满足人们对低延时的要求。
其次我们在网络质量实时监控中做了很多的工作。IoT设备都是无线入网，无线网络质量因为各种原因，网络质量波动很大。准确评估当前的网络质量和瓶颈带宽，是整个QoS策略的核心。它决定我们如何分配资源，调整其他QoS的工作模式。
最后就是受IoT硬件资源的限制，QoS的很多具体策略也要随之调整。IoT设备没有充足的内存资源，不能缓存太多数据；IoT设备算力紧张，不能使用过于复杂的算法。所以很多策略也就要随之适配和调优。
LiveVideoStack：非常开心今天能和黄老师进行采访，剧透一下您在LiveVideoStackCon的独家内容吧！
黄翠萍：本次分享聚焦RTC的QoS手段如何在IoT产品进行深度打磨，可能没有那么多新的技术，但是会分享在新的应用场景下，遇到的困难和解决的思路，希望对大家有所帮助。