『英特尔』陈绍强:视频分析业务在云边协同环境中的部署实践

在数字化转型速度不断提升的今天,大带宽、低时延、高并发的场景不断涌现,终端用户对于网络内容反应速率要求提升,对于CDN的应用需求也在不断攀升。而今正值中国CDN发展十年转型期,提升CDN核心竞争力,以CDN为切入点带动边缘计算、分布式云计算、音视频直播、云游戏等服务,为用户打造更高质量的CDN服务将成为新时代产业竞争的关键所在。

8月25日,以“新征程,耀一起”为主题的2022亚太内容分发大会暨CDN峰会在北京隆重开幕,本届大会由亚太CDN产业联盟、众视Tech联合主办。亚太CDN产业联盟携手阿里云、腾讯云、网宿科技、火山引擎、天翼云、中兴通讯、金山云等内容分发领域头部企业,为行业破旧立新、闪耀新征程发出最强音!

『英特尔』陈绍强:视频分析业务在云边协同环境中的部署实践-云投网

在8月25日下午举办的【边缘计算论坛】上, 英特尔(中国)有限公司资深软件架构师 陈绍强发表了题为《视频分析业务在云边协同环境中的部署实践》的主题演讲,内容整理如下:

云、边缘和边缘协同
边缘是我们生存的物理世界,包含形形色色的设备,各种各样的应用。路上的汽车、无处不在的摄像头,都属于边缘,且会产生大量的数据。边缘侧产生的大量数据不可能都传到云上处理,而是需要在边缘完成,这就是边缘计算。从云的角度看,如此多的设备和应用是需要统一管理的,云就可以形象地解释成管理者。如果说,计算机操作系统是对一台计算机硬件系统进行管理,让用户能够通过统一的界面操作,方便用户使用;那么,云边协同就可以看作是云原生操作系统作为中心操作系统,对于众多的边缘设备及业务逻辑——可看作外设——进行管控。
规模化部署应用的挑战
挑战一 云边互联
首当其冲的是网络环境问题,边缘侧的网络有断开的风险,例如用户为了省电,晚上把机器关了,或者用户遇到了问题需要重启。
挑战二 统一部署
统一的管理,写一次部署文件,需要部署很多份乃至上千份都有可能,如何解决统一部署的问题。
挑战三 规模化部署
应用成规模时,比如视频分析业务,如交通灯或大卖场摄像头服务,可能有成百上千个摄像头,业务如何进行规模化调度管理。
挑战四 设备管理
对形形色色的设备的管理,设备可能是摄像头,也可能是传感器,或者机械臂。
挑战五 能力管理
如何抽象边缘设备的各种能力并加以管理?
规模化视频分析业务部署逻辑视图从视频分析的角度,底层流水线工作在边缘端。首先是对摄像头的管理,然后是业务接入后,视频流接入要经过负载均衡,把视频流接入到合适的设备处理,处理后,将分析数据通过标准的分发渠道、消息渠道送到云端。如果要规模化管理边缘视频分析业务,则需要来自云的管控,这是云在规模化部署中所承担的角色。原生的K8S是不可能直接在云边协同管理中使用的,需要为边缘量身定制组件,能够支持在网络环境非常不友好的条件之下进行管理;另外,如果提高边缘的可观测性,还需要提供各种的数据测量和监控。

OpenYurt作为云边协同的基础设施
OpenYurt是2020年5月份由阿里云推出的项目,同年9月份贡献给CNCF。目前,OpenYurt社区在蓬勃发展,并且正在争取进入孵化阶段。
图中展示的是OpenYurt组件图,其中,边缘侧提供的核心组件是Yurthub,边缘感兴趣的数据会暂存在Yurthub,以便于边缘自治。针对网络的解决方案的组件属于网络管理组件。应用的管理、部署以及部署到多个边缘节点,能力由Yurt App Manager提供。EdgeX Foundry也是一个开源边缘计算项目,OpenYurt对它进行了集成,扩充了OpenYurt在边缘设备方面的管理能力;右侧的Yurt EdgeX Manager负责在边缘部署EdgeX Foundry组件,Prometheus则提供统一化的管控数据。

为什么需要部署OpenYurt,陈绍强表示,OpenYurt对上述几项挑战有提供了自己的解决方案,而且一大好处是对于K8S做了无侵入扩展。英特尔也深度参与到OpenYurt这一开源项目中。

首先,关于边缘自治,所谓边缘自治其实就是在网络环境有限或故障的情况下,怎样让业务内容继续保持在边缘运行,当网络恢复或重启后,边缘节点上运行的容器不会被删掉或被迁移。通过Yurthub实现边缘自治,需要在边缘节点每一个节点上面运行Yurthub。对于边缘自治的扩展,OpenYurt有两个方面,一是单节点的自治,另外还引入了节点池自治。节点池是指对于同质节点统一管理,比如一家大型零售企业在北京有十几台机器,则可以把这些节点组成一个节点池统一进行管理。

针对统一部署的问题,OpenYurt提供的节点池API(YurtAppSet,YurtAppDaemon)支持写一次文件,就能部署到多个节点池。零售企业肯定不希望针对每一个门店都需要单独部署,而是希望一次定义,全局统一部署。

网络波动是边缘侧最普遍的问题,OpenYurt提了几个层面的应对方案。一般情况是边缘可以访问云,但从云到不了边缘,因为边缘在防火墙后面或是私网地址。最简单的是在4层(TCP层)提供一个Tunnel,组建一条从边缘到云的隧道,可以解决云边互通的问题;第二种解决方案,是通过VPN在边缘和云之间建立通道,以路由的方式来打通云边和边边网络互通;另一种7层的解决方案,如果负载非常多的情况下,成百上千的摄像头都要流入到一个节点池,则需要7层调度智能地把负载分发到最空闲的设备上去。

上图即为Tunnel解决方案,建立TCP连接之后,从云上对边缘节点进行管控,比如可以进入边缘节点容器里查看运行情况,是一种简单高效的解决方案。
Raven是VPN的解决方式,相较于Tunnel复杂程度高,需要配置VPN,现支持两种比较典型的VPN配置方案:IpSet和WireGuard。
接入的业务流较多时,大量摄像头URI进入后需要有一个机制,把视频流分发到最合适的服务容器上去,如需要独立显卡,或针对业务的视频设备有FPGA加速器,或其它优化设备,则需要边缘负载均衡器(ELB),能够从边缘节点以及边缘节点上运行的容器里获取测量数据,掌握节点运行的负载情况以及计算设备的负载情况,根据这些数据通过ELB控制器进行计算,然后通过ELB反向代理把请求分配到最合适的目的地。这一特性目前正在开发中。各种类型的设备管理,比如在视频分析业务里,如何管理大量的摄像头?设备管理能力在原生的K8S里面是缺失的。在与EdgeX Foundry项目合作的过程中,首先把EdgeX容器部署到边缘环境中去。EdgeX给每种设备制定Profile,包含设备资源、元数据以及能够对它执行的命令,相当于对设备作完整的抽象。Device Service运行设备的业务逻辑。

部署完EdgeX后,就可以对Device进行管理。如摄像头设备,就需要把摄像头的元数据进行定义,根据元数据创建对应摄像头数量的Device实例,通过云边协同对设备管控,操作设备的真正命令则通过各个Device Service运行。
英特尔异构计算平台框架。系统软件层包括英特尔的异构计算支持库,如Level-0库和oneAPI的计算加速库和媒体库,以支持上层的各种AI框架,包括英特尔的OpenVINO、PyTorch扩展和TensorFlow扩展等,上面是FFMpeg、Gstreamer和OpenCV等媒体框架,最上面则是视频业务分析逻辑。
上图是具体到云边协同环境,也就是OpenYurt环境下部署的物理视图。可以想象容器部署在成百上千的节点或者是节点池上,实现规模化的部署,通过对节点池统一文件即可进行一键式部署。并通过边缘负载均衡器把来自摄像头的视频流分发到最合适的计算节点上去。
怎么样去部署各种设备的能力,陈绍强表示,目前尚未看到实质性进展。他说,每个设备都有自己的能力,摄像头有摄像的能力、电视有投屏的能力、游戏机有渲染的能力、机械臂有抓取的能力,真正形成边缘智能化所需要的是对于各种设备能力的强大的编排能力。未来边缘计算将会把各个设备联动的能力发挥出来,构建真正意义上的云边协同下的智能边缘应用场景。
*文章为作者独立观点,不代表云投网立场
发表评论

坐等沙发
相关文章
云南红塔银行2023-2024年结算平台收银台CDN加速项目招标公告
云南红塔银行2023-2024年结算平台收银台…
2024年中国内容分发网络(CDN)行业加速IPv6发展分析—部分企业率先布局CDN回源支持IPv6【组图】
2024年中国内容分发网络(CDN)行业加速IP…
网宿科技获36家机构调研,全球部署约2,800个CDN节点
网宿科技获36家机构调研,全球部署约2,8…
新年擎始, CDN Summit|2024亚太内容分发大会北京邀请函!
新年擎始, CDN Summit|2024亚太内容分…
智算奔涌GDCC2024全球分布式云大会北京邀请函
智算奔涌GDCC2024全球分布式云大会北京…
边缘计算概念31日主力净流出23.49亿元,中兴通讯、浪潮信息居前
边缘计算概念31日主力净流出23.49亿元,…
我还没有学会写个人说明!

24小时排行

  • 暂无文章