有“声”聚一堂|RTE 2021 编程挑战赛圆满收官

6月 12日,由声网Agora与环信联合主办的“RTE 2021编程挑战赛”圆满落幕。从 200+支参赛队伍中冲出重围的 46支决赛队伍用精彩的答辩为历时 2个多月的大赛划下了圆满的句号。

今年的“RTE 2021创新编程挑战赛”共分为 2个赛道:应用创新赛道延续了「使用声网Agora SDK开发应用」的赛题;技术创新赛道开发者可以「利用声网云市场插件接口,开发自研插件与功能演示 Demo」。

尽管此次的赛制与赛题对参赛队伍提出了更高的要求,但同时也为大家提供了独有的技术创新空间。相较去年而言,两个赛道的报名队伍及提交作品几乎都是去年的一倍。

本次大赛的决赛和颁奖都是通过 Agora Video Call App在线上进行的,全程通过 B站进行了直播。最终,决赛共诞生了应用创新赛道的一、二、三等奖团队各一名,“环信专项奖”一名,以及“优秀奖”六名;技术创新赛道“技术创新专项奖”一名,“优秀奖”一名。

应用创新赛道

一等奖:Agora Home AI

随着智能设备性能提升和网络的快速发展,以音视频为基础的智能硬件也正在蓬勃发展中。跨品牌、跨产品的设备管理也成为萦绕在用户日常使用中绕不开的一个话题。

「Agora Home AI」系统以智能家居为主题,使用云信令 SDK实现了IoT设备远程控制。同时,通过声网Agora RTC SDK实现人与机器的 1V1视频,将机器人端采集到的视频发送至 PC控制中心,进行 AI智能检测,触发事件响应。

系统采用开源了 Yolo V3算法进行各种视频数据的处理,支持 C、C++调用;Unity 3D、VS系列开发。目前已支持 Yolo基础 80种物体识别、安全帽识别、冰球识别文件等。采用声网提供的云信令 SDK进行远程设备控制,构建群组房间进行消息实时通信,支持通过自定义协议进行智能硬件的控制。

「Agora Home AI」可以帮助用户实现可穿戴设备、智能家具设备、视频监控设备接入何控制。包括智能灯光、智能门窗、智能门锁、智能安防、智能手环监测、智能家电控制等配套产品,让用户实现多种品牌的智能设备在统一的交互平台内互联互通、统一管理、智能联动。为给用户创造更舒适、更安全、更节能的家居生活环境。

二等奖:Agora FIow

获得第二名的作品「Agora Flow」是一个基于声网+环信 SDK搭建的音视频 Low Code Web共享编辑器。

作品的灵感来源于在使用声网Agora SDK的过程中,创作者一直在思考关于音视频服务除了以 SDK的形式啦哎提供服务和为开发者赋能外,还有没有别的形式呢?Low Code就是这样一个可能的解决方案。将音视频相关功能进行模块化集成,提供一个图形化界面,让开发者可以用做 PPT的形式来完成想要实现的功能。

作品通过声网的音视频传输及云信令 SDK产品,提供了基于 Web的集成了 RTC Chat SDK的模版工程,通过 CodeGen来生成配置项。实现了在线流程图编辑器 Low Code项目的自动生成。作品中的一切的操作几乎都可以通过拖拽来完成。

有开发者开玩笑说,这次的大赛作品很多都是开发了一个 App,而「Agora Flow」则是做了一个帮助开发者能更好开发 App的项目。

三等奖:都市探险家

「都市探险家」项目是一款利用地图 LBS +云信令 SDK +实时音视频构建的社交产品。这款产品为想要寻找共同爱好的新朋友并一起在都市进行旅游、探索的小伙伴而设计。

产品的使用十分简单便捷,用户注册登录后,通过 LBS地图会自动更新用户所在位置,只要点击“发起任务”并选择“探险”人数,用户就可以与小伙伴进行一次全新的都市探险啦。

对于 RTE场景而言,产品中实现了多人语聊房场景。并且,通过云信令 SDK的使用结合了实际的业务场景,对于当下的语聊房场景进行了拓展。产品未来也会接入视频聊天的功能,让没有办法即时出行的小伙伴也能共同参与到城市的探险当中。

环信专项奖:忘忧馆

「忘忧馆」是一个很有温度的作品,希望可以帮助现代生活中的人们通过彼此倾诉忘掉烦恼、解除忧愁,传播正能量。

这是一款陌生人社交 App,包含信息流。结合了几种最常见的社交产品形态,包括文字聊天,通话等等。让一些不方便与亲人和朋友诉说的烦恼,可以在和陌生人交流时找到共鸣与安慰。

优秀奖:Vchat

「Vchat」利用人脸骨骼识别和云信令 SDK实现了虚拟 3D角色的实时通话。使用 tensorflow.js的 WebGL引擎作为后端,使用现有开源的人脸识别模型通过摄像头识别人脸的位置以及五官的状态。再通过 Three.js和 Vrm.js将人脸数据实时更新到虚拟的 3D模型上。

在视频部分,通过实时消息 RTM SDK将人脸骨骼数据实时传输到频道中让其他用户订阅还原人脸。而语音部分则是通过 RTC SDK将声音进行实时传输并让用户进行订阅。可实现同步换脸、变声聊天等功能。

除了上述的「Vchat」以外,还有「灵动课堂答题组件」、「Agora X-Runtime」、「Weln」、「欢信bla-bla.app」、「智能AR毛笔临摹教学系统/CopyTeachWorks」作品获得了此次大赛“应用创新赛道”的优秀奖。关于这些优秀的作品可能没有办法在这里跟大家一一呈现,感兴趣的小伙伴可以前往我们的 Github仓库进行查看。

技术创新赛道

技术创新专项奖:人脸识别

「技术创新专项奖」是为“技术创新赛道”专门设置的一个奖项。获奖作品是一个在 iOS平台上使用使用 AgoraEngineKit2开发接入一个基于 C++语言封装的「人脸识别」插件。

作品通过 TYSMExtensionManger类与对外交互,对内则处理插件实现的相关逻辑。将 IExtensionProvider、IVideoFilter和自己的开发的 Processer都放在同一个地方。用 framework方式对外公开两个文件,既方便开发者查阅,同时也可作为作为参数传递,增强代码可阅读性。 

该插件可以支持人脸检测、追踪、以及多脸的追踪识别,对脸部轮廓、眼睛、眉毛、鼻子、嘴巴等识别到的区域以 3D点状作出反馈。

优秀奖:Water Mask

「Water Mask」项目是“技术赛道”中的参赛作品,通过在声网 SDK的视频采集或者播放环节,在 YUV域上或者编码后添加图片或文字类型的隐性水印。

隐性水印盲水印添加后,用户不能直接看到视频中的水印信息。在保护视频发布者版权的同时,也保障了用户的视频观看体验。未来,「Water Mask」还希望在音频处理上,可以扩展声纹水印,在视频版权追溯、认证防伪等场景为行业带来更多、更好的体验。

以上就是本届 「RTE 2021编程挑战赛」的部分获奖作品及团队情况。关于本次挑战赛的更多作品情况将开源在 Github,感兴趣的小伙伴可前往进行查看。

获奖团队除了会得到本季度大赛奖金,还可以申请进入声网Agora招聘绿色通道,以及在一年内享受创业支持计划的福利。