音视频

音视频

【融云分析】可扩展的公有云媒体服务设计解析

科技创新融云那些事 发表了文章 • 0 个评论 • 47 次浏览 • 2020-06-16 18:26 • 来自相关话题

编者按:作为互联网通信云服务商,除了满足最基本的音视频数据实时传输需求外,还会需要提供很多个性化的云端服务。本文来自融云的联合创始人兼 CTO 杨攀在 LiveVideoStackCon2019 北京站上的精彩分享,结合融云去中心化的媒体服务架构,解析如何构建... ...查看全部

编者按:作为互联网通信云服务商,除了满足最基本的音视频数据实时传输需求外,还会需要提供很多个性化的云端服务。本文来自融云的联合创始人兼 CTO 杨攀在 LiveVideoStackCon2019 北京站上的精彩分享,结合融云去中心化的媒体服务架构,解析如何构建灵活的、可扩展的音视频通讯云服务。


大家好,我是融云的联合创始人兼 CTO 杨攀,本次我分享的主题是融云在公有云媒体服务设计的理念和思路。


我是从2002年参加工作,至今已经十七年,其中有十五年的时间都是在做关于 IM 的工作。2004年时我加入了 MSN,作为 MSN 进中国第一个落地的本地化服务,我在其中担任项目负责人的工作。2008年到2014年间我都在从事与飞信相关的工作,经历了飞信从一个非常小的业务成长为数亿级规模的水平。2014年后随着云服务的兴起,我与团队创立了融云,将即时通讯与云服务结合提供给开发者,让开发者可以通过调用 SDK 使用 IM 服务。


本次演讲将分为设计概述、媒体服务、能力服务、服务集群和服务网络五个部分展开。

设计理念

融云是一家互联网通信云服务商,众所周知,要想做基本的音视频服务,首先你需要具备信令服务、能力服务和媒体服务这三种能力,这些能力都基于 WebRTC 技术,但 WebRTC 本身的定义是 P2P 的通讯,它本身并没有服务部分,在服务部分有很多开源的实现解决方案。其次 WebRTC 也没有定义信令服务的部分,很多厂家都是通过自己开发或采用第三方信令的方式来解决这个问题。信令其实就是一个长链接的通信通道,它与 IM 即时通讯其实是一样的,融云也有案例说明客户可以采用融云的公有云即时通讯解决方案来满足信令服务的需求。随着基础通信能力达到要求之后,又不断引入新的需求,比如对音视频内容的审核、更大规模的使用WebRTC技术替代直播平台的解决方案,这也就引入了类服务这样新的功能。融云即时通讯业务的设计理念是各司其职、避免依赖,核心服务专注通信,能力服务专注业务,只要做到这一点,系统就可以实现部署简单和运维方便,降低管理的成本。另外融云作为全球互联网通信云服务提供商,在设计之初就不可避免要考虑全球互联的问题,全球互联的架构与私有架构的不同需要充分照顾到。

媒体服务
2.1 媒体服务基础能力


首先从三大能力中的媒体服务能力谈起,融云团队一般都称之为“三无服务”,“三无”是指一个媒体服务对其他的服务没有依赖,其他的服务对这个媒体服务自身也没有依赖,并且每个服务没有任何中心化的配置。根据工作中的经验,无论是在公有云、私有云还是混合云环境中,会面临要部署的环境和客户端的环境都非常复杂的情况,比如用户会在防火墙后或者服务器本身就在防火墙里面,遇到这些情况,融云采用端口收敛的方式进行通信的策略控制,这都是需要在设计之初就做到的事情。

另外融云还实现了两个实时通信场景,第一个场景是绝大多基础音视频厂商都能做到的二人 P2P 会话,第二个场景是多人视频会议,在这个场景中人数一般会在十人以上。随着业务的发展,大家都能感觉到一个技术趋势:用 WebRTC 的方式做直播,传统的直播是将客户端的流在服务端处理之后推给 CDN,最后由 CDN 进行分发,这样做的好处是利用 CDN 的基础架构可以实现大规模用户在一个房间收看直播,这是 CDN 技术特点所带来的优势,但同时 CDN 也存在着一些问题,比如首屏开屏的速度过慢,当然目前针对这个问题也有着各式各样的解决方案。有些客户在这基础上就会提出能否使用 WebRTC 来实现直播场景,业内也称这种方案为低延迟直播,由于延迟比较低,在直播中的互动也会更加友好。

2.2 信令服务与媒体服务


关于信令服务和媒体服务的关系,绝大多数的厂商信令服务和媒体服务都是在一起的,融云的设计理念强调要解耦,使得部署和维护都更简单,因此信令服务和媒体服务之间也需要解耦和无依赖,信令服务与媒体服务之间原本存在的状态同步也要解开,而且融云本身就有特别健壮的信令服务,因此可以复用融云的 IM 通道,融云本身在这方面的投入也相当大。


上图是信令服务与媒体服务的简单架构,每一个媒体服务都与信令服务相关,相关性的目的是让彼此清楚各自的状态,这个设计模式的特点是客户端与信令服务通信,通信结束之后可以与媒体服务通信,而媒体服务之间的对接不受影响。

2.3 实时通信发布/订阅过程解析


上图是为了实现解耦引入的实时通信发布/订阅的模型,当 Client A 要与 Client B 进行会话时,第一步是进行发布,首先用 Client 调用 IM Server,提交加入房间/通话申请,调用信令服务的目的是拿 Token 返回,Token 中包括之后整个订阅/发布功能所需要的关键数据,拿到这些 Token 之后去调用相关媒体服务的地址,传统的设计通常是找信令服务,在分析 IP 地址库之后指到媒体服务,由于我们需要做到解耦,因此在 Token 调用媒体服务后会给出一个返回值,返回值是 IP 地址和 Domain。返回 Client 之后就可以拿到 IP 的信息,连到媒体服务开始与 Client B 通信,通信的过程完全是依靠长链接的信令服务通道来进行的,Client A 将它得到的 Domain 信息发送给 Client B,此时发送阶段工作结束。发送阶段结束之后由 Client B 来执行订阅工作,Client B 会找到离它比较近的信令服务,调用媒体服务接口连到 Client A 连接的媒体服务,这就是完整的发布/订阅模式。

2.4 媒体服务对客户端接口设计


对于媒体服务对客户端接口的设计,只需要提供发布/取消发布流、SFU 订阅/取消订阅和 MCU 订阅/取消订阅的接口,就可以完成解耦过程,整个通信的过程也可以建立起来。

能力服务
3.1 能力服务分类


本身正常的一对一、多对多通信完全可以通过媒体服务就可以实现,融云最初上线的版本也是基于媒体服务去实现通信需求。后续客户和业务产生了新的需求,比如在 AB 通讯时需要录像、对音视频的审核以及 WebRTC 实现低延迟直播等,融云将这些需求统称为能力服务。

3.2 能力服务设计原则


能力服务一样也有设计原则,首先,需要与媒体服务或信令服务解耦、无依赖;第二,无中央配置,无需通过配置来控制能力服务的功能和逻辑,而是通过接口和调用关系来控制;第三,结构简单,能够实现低成本运维;第四,能力服务可利用现有的网络能力。

3.3 媒体服务对接能力服务过程


通过上图来解释媒体服务对接能力服务过程中的逻辑,与发布/订阅模块相同,都是用 Client 调用 IM Server,调用信令服务拿 Token 返回,Token 可以直接生成一个 Hash 值,可以将 Token 理解为一个字符串,将想要的数据通过加密算法封到 Token字符串里,比如“host@clusterld”,“config”,Token 返回 Client 之后还是寻找媒体服务,在连接另外一个媒体服务做通信时接入能力服务,由发起方提供能力服务的内容。

3.4 媒体服务对能力服务接口设计


媒体服务对能力服务接口设计分为申请推流/接受推流申请和推出推流/接受推流推出两种。

服务集群
4.1 服务集群设计原则


关于服务集群的设计理念,首先还是贯穿始终的结构简单、易于维护,其次是可低成本构建集群以及可快速的扩缩容。

4.2 媒体服务集群框架


整个媒体服务集群的架构如上图所示,其中每台媒体服务器应该有自己独立向外暴露的 IP 地址,用于进行 RTC 相关的通讯。媒体服务现在有两个角色,一个是用于 RTC 相关的通讯,另外每个媒体服务器现在有自己 HTTP 的接口,用负载均衡和反向代理来控制这些 HTTP 接口的调用,通过反向代理实现规则调度。

4.3 服务集群实现


媒体服务集群还实现了实时通信单中心间媒体服务零调用,直播模式单中心理论上支持无限扩容以及通过代理层的控制实现无业务中断的更新。

4.4 MCU 能力服务集群


MCU 能力服务集群与媒体服务集群逻辑相同。

4.5 集群概况


在没有能力服务的情况下,上半部分就是融云标准的数据中心模型,引入能力服务后,需要复用媒体服务集群现有的基础设施,所有的能力服务就会与媒体服务部署在一起,但实际上由于架构实现解耦,比较灵活,并不需要物理上部署在一起。

服务网络
5.1 全球网络设计原则


融云在做 IM 的时候对于全球网络设计有非常丰富的经验,通过多年来在全球覆盖地区 IM 网络和基础数据的收集,基本可以了解全球各个地区的实时网络变化情况。在这过程中团队总结出任何物理的优化都不是特别稳定,因此全球网络的设计理念就包括客户端就近接入,多链路选择,数据中心间同源音视频只有一路级联,利用IaaS能力进行中心间级联链路的优化。

5.2 跨国级联示意图


跨国级联示意

5.3 全球网络的工作


另外,融云在全球网络中还做了一些工作,比如 DoH 刚在2018年9月变成RFC 的标准,主要解决 DNS 中间人劫持问题,根据融云这么多年业务开发经验来看,很多连接问题最终发现都是由 DNS 劫持导致的。另外在引入 SmartDNS 时会遇到 LocalDNS 缓存不准的问题,这些都会导致最终分配的就近地址不是真正的就近地址。融云目前的工作模式是将三者结合起来使用,在引入 SmartDNS 技术的同时引入 BGP Anycast 运营商技术来解决最近地址问题,通过这三层技术最大化来保证找到用户的最近地址。另外可以在某些特殊情况下采用公网链路来做数据中心之间的级联通信,绝大多数厂商碍于成本的考虑也采取了这样的方法,但公网存在某些特殊情况不稳定的问题,因此需要有一些备用链路,甚至在一些特殊的国家地区做物理链路优化,融云 IM 在全球的基础网络设施投入很大成本,也收获了很可观的成绩。

未来工作计划

关于融云目前正在开展的工作计划,随着业务的不断增加,按照现有的架构其实可以引入更多基于场景的能力服务,只要遵循架构模型就可以不断地引入新的模型。另外在融云的架构模式下天生支持混合云模式,由于各个服务间都是解耦的,任何私有环境下的服务都可以直接利用已经存在的公有媒体服务架构之上,对于公有媒体服务来说,只要遵循相同的发布/订阅模型就可以直接使用。

【融云分析】H.264视频编码的基本原理和过程

科技创新融云那些事 发表了文章 • 1 个评论 • 50 次浏览 • 2020-06-16 18:25 • 来自相关话题

前言:在音视频通信中,音视频的数据压缩是有效降低带宽的主要方法;其中,视频占用了更高比例的带宽,视频压缩更为重要。如果不压缩,一副 RGB 图像,按照 800 x 600 的分辨率, 每秒 25 帧的帧率, 那么:每秒的数据量 = 800 x 600 x 3 ... ...查看全部

前言:
在音视频通信中,音视频的数据压缩是有效降低带宽的主要方法;其中,视频占用了更高比例的带宽,视频压缩更为重要。

如果不压缩,一副 RGB 图像,按照 800 x 600 的分辨率, 每秒 25 帧的帧率, 那么:每秒的数据量 = 800 x 600 x 3 x 25 x 8 ( bit )。

H.264 压缩后,平均码率可以减少 20 倍;如果使用动态码率,对于某些简单场景的监控等,可以更大的压缩视频,同时保证视频质量。

视频压缩工具有很多,H.263、Mpeg-4、 VP8、VP9、 H.264 等等。目前最常见和最常用的视频压缩算法是 H.264,基于 H.264 比较流行的开源工具有 X264、OpenH264 以及 FFmpeg (内部集成 x264 和 OpenH264 ), 解码工具大多用 FFmpeg 实现。

视频编码的基本要求:

1:有足够的压缩比,能将压缩结果控制在一个范围内;

2:压缩后的视频,解压后要保证一定的视频质量。

H.264 的优势有什么呢?

1:很好的网络亲和性,更适合复杂网络传输;

2:更高的视频压缩比,在同等视频质量下;大约是H.263,Mpeg-4 的 2 倍;

3:目前移动端已经广泛支持 H.264 硬件编解码,效率和速度更快。

H.264/AVC 的常用概念:
帧和场:

视频的一帧,可以看做是一副完整的图像, 一帧视频可以分成两个隔行的场,通常叫做 “顶场” 和 “底场”。

为什么会有“场”的概念?

因为早期在电子显像管电视机中,图像是由电子逐行扫描显示的。为了更好的显示动态图像,就会先隔行扫描显示图像的 “顶场”,然后在扫描显示图像的“底场”。这样运动图像的显示效果会更好。

但是隔行扫描的实际效果是模糊了图像。目前随着科技的发展,在视频编码中,通常直接用一副完整的图像。

档次和级:

(1)基本档次:基于 I 帧 和 P 帧 ,支持 CAVLC 编码;适合视频会议,视频电话,实时视频流等。

(2)主要档次:支持各行视频,增加 B 帧编码,支持 CABAC 编码。主要用于视频存储等。

(3)扩展档次:支持流之间的切换,改进误码性能;主要用于视频点播等。


YUV 4:2:0 图像:
一帧没有经过压缩的位图数据一般保存的数据是每个像素用 RGB 表示,每个颜色分别用一个字节表示。

我们这里常用的 YUV 图像指的是 YUV 4:2:0 图像,用四个亮度 Y 分量对应一对 UV 色度分量。


RGB 转换 YUV 4:2:0 的公式:

Y = 0.299R + 0.587G + 0.114*B;

U = -0.169R – 0.331G + 0.5 *B ;

V = 0.5 R – 0.419G – 0.081*B;

由此可见,RGB 图像转到 YUV 4:2:0 图像的这一过程中是有图像质量损失的。

为什么用 YUV 4:2:0 ?

首先, YUV 4:2:0 比 RGB 图像小一半。每个像素为 12 bit。

其次,早期的电视分为黑白电视和彩色电视,如果是黑白电视,那么直接播放 Y 亮度分量。

如果是彩色电视,那么就可以全部直接播放。

视频编码系统的基本结构:

视频的压缩原理与过程:
1:我们先看一幅图像:(图1)


这幅图像中,大部分是绿色,如果仅仅将小球保留,绿色用一个变量和坐标表示,那么这幅图像的信息就可以很好的减少,也可以根据变量和坐标恢复图像。

2:再看一副图像:(图2)


这幅图像的小球,向右上角移动了一格,其它内容和信息都与上图基本一致;

如果已经有了“图1”, 那么只需要将“图2”与“图1”中的不同信息保存下来,那么就可以根据“差别信息”参考“图1” 来恢复显示“图2” 了。

这就是视频压缩的本质和原理:

空域压缩;

时域压缩。

GOP:
我们可以按照一定的图像数量进行编码,如 25 帧图像为一组,每组的第一帧图像通过帧内编码,我们称之为 IDR 帧,其它图像参考其它图像的信息进行编码,我们称之为 P 帧 / B 帧,那么可以将这一组数据一个 GOP。

如果一个 GOP 的第一帧图像 IDR 帧丢失或者损坏,那么这个 GOP 后面的所有视频数据将会解码错误。只有等到下一个 GOP,当解码器遇到 IDR 帧会即时刷新图像,清空参考图像列表。


宏块:
H.264 编码的最小单位,我们可以看做是一个宏块,就是一个 16 x 16 的图像区域,也可以划分的更小,如 8 x 8。

什么是预测编码?
在视频压缩中,就是将预测值与实际值作差,然后再次压缩。

帧内预测:

IDR帧 ,I 帧:
帧内编码就是当前帧不参考其它帧,可以独立解码的一种编码方式;

可以简单的想象为,一副 BMP 图像压缩为一副 JPEG 图像;

通常帧内编码的图像,我们称之为 I 帧 intra picture,就是不需要参考其它图像,可以自己独立解码出图像的视频数据帧。

需要注意的是:IDR 帧是 I 帧,但是 I 帧不是 IDR 帧。IDR 帧是一个 GOP 的第一帧,GOP 中间有可能出现 I 帧,后面的帧有可能参考 I 帧之前的视频帧,但是不可能越过 IDR帧。一般 IDR 帧 前面还有 SPS 和 PPS 信息。

在帧内编码中,宏块最多可以有九种预测模式,我们可以找到与原图最相近的预测图像:


帧间预测:
帧间预测技术分为 B 帧预测和 P 帧预测。

B 帧预测 – 双向预测:
主要是参考之前编码的帧和之后编码的帧;

B 帧的数据量更小,但是 B 帧由于需要参考后续帧,那么就会引入延时;

同时用到更多的计算开销;

B 帧不会作为参考帧,所以,丢弃 B 帧也不会引起花屏;如上面的“GOP 图“。

P 帧预测 – 单向预测:
主要参考之前编码过的视频帧;

后面为了清晰说明原理,以 BaseLine 为示例基础,仅包含 I 帧 和 P 帧;

运动矢量:
如:“图1”的小球位置坐标假设为(x0,y0), “图2”的小球位置坐标假设为(x1,y1),那么小球的运动矢量就是(x1 – x0,y1 – y0);

运动估计:
得到运动矢量的过程就是运动估计;


将预测数据和实际数据相减,去掉时域上的数据冗余,就得到了预测的“残差”数据,也就是补偿数据;

解码视频数据,可以根据补偿数据,运动矢量和参考图像恢复出当前图像。

这一步极大的减少了时间域上的图像冗余数据。

DCT – 离散余弦变化 :
这是一个复杂的数学名词,简单描述,就是去除像素间的相关性;

目的当然是进一步压缩数据。

举个例子:


更多的情况可能是图中情况,即便是这样,有效数据也更好的减少了,多了很多 “0” :


量化:
量化过程在不降低视觉效果的前提下减少图像的编码长度,减少图像信息中视觉恢复中不必要的信息。

量化结果,实际上是由量化步长决定的 (QStep),量化步长越小,图像的细节信息保留的越多,码率越高,图像质量越高。反之,量化步长值越大,图像质量越差。

量化是有损压缩,这一步的图像质量有一定的损失。但是前提是不影响正常的视觉和图像质量。

zig-zag 扫描 ,也有人称之为”锯齿扫描” :


zig-zag 扫描和 FFmpeg 官方标志

游程编码 – (RLC, Run Length Coding):
又称“运行长度编码”或“行程编码”,是一种统计编码,是一种无损压缩的编码方式。

其实锯齿扫描和游程编码可以看做是一体的。

游程编码进一步压缩保存了有效的保存扫描数据。

熵编码:
利用信源的统计特性进行码率压缩的编码称之为“熵编码”,也叫统计编码。

从名称来看,还是要压缩数据;这一步是无损压缩。基本原理就是给高频率数据短码,低频率数据长码。

从定义来看,就是指定一组数据中,根据数据出现概率来编码的一种方式。

在 H.264 中,也就是之前提到过的 CABAC 编码 和 CAVLC 编码。


本文图片部分主要来自于“百度图库”和《新一代视频编码压缩标准》。

【融云分析】弱网环境下实时音视频通信的深度优化

科技创新融云那些事 发表了文章 • 0 个评论 • 51 次浏览 • 2020-06-16 18:24 • 来自相关话题

5G 时代即将到来,这无疑将为移动网络带来巨大的容量升级和性能升级,高网速、低延迟、万物互连的特点,使得许多受制于网络的场景问题能够得到有效的解决,为全方位的物联网接入提供了基础设施上的支持。但在现阶段,网络状况并非一直处于理想状态,运营商之间的互通限制以及网... ...查看全部

5G 时代即将到来,这无疑将为移动网络带来巨大的容量升级和性能升级,高网速、低延迟、万物互连的特点,使得许多受制于网络的场景问题能够得到有效的解决,为全方位的物联网接入提供了基础设施上的支持。但在现阶段,网络状况并非一直处于理想状态,运营商之间的互通限制以及网络信号弱,链路不稳定等,时常会造成音视频通信延时和丢包的问题。如何在弱网环境下给予用户优质的音视频体验,是非常具有挑战性的。本文将从音视频用户体验的指标来介绍音视频相关知识,并详解如何优化网络延时和丢包问题。

实时音视频的用户体验指标

1、低延时:

实时音视频的要求是延时越低越好,如果端到端的延时超过 400ms ,用户就会有明显感知。

2、流畅度:

在实时音视频的场景下,通话双方接收到的音视频流畅平稳,不会出现卡顿、突然变快变慢等情况,这对于用户体验来说非常重要。

3、清晰度:

随着网络带宽的提高,用户对视频清晰度的要求越来越高,720P 和 1080P 开始慢慢普及。

4、连接建立及首帧时间:

用户在音视频通话过程中,连接建立和接通后接收到首帧画面的时间越短,用户的体验就越好。

延时和丢包是实时音视频影响用户体验的主要问题,延迟主要存在以下几个步骤:


1、客户端处理的延时

设备端上的延时:包括采集端采集、预处理、编码等方面,还有接收到之后的解码,处理、渲染等方面,都会有时间上的损耗,这些损耗的长短主要与硬件性能、采用的编解码算法等因素有关,设备端上的延时可达到 30~200ms,通常在 Windows 和 iOS 设备端上会小于 20ms,在 Android 设备端上可能会很长。

2、网络传输的延时

网络传输的延时主要集中在用户设备到服务器以及服务器与服务器之间的传输过程中,网络之间的传输不仅只是随着物理距离的增长而加大,也会因为跨区域或者跨运营商的传输而加大,尤其是在国内有很多中小运营商,会形成更为复杂的网络环境,那么延时会更高,通常在一个国家内部应该小于 50ms,国家之间可能大于 100ms。

3、抖动缓冲区

如果网络抖动比较严重,如3G、 Wi-Fi环境不稳定,数据包的rtt值不均衡往往会导致语音卡顿,丢字等现象,jitter buffer 模块通过缓存一段数据包,把数据包重排并均匀地传输给播放端,这样会增大端到端的延时。

如何优化延时?

1、客户端的优化

主要从编解码器算法优化、编解码参数调整和网络策略方面做调整。

a、编解码器算法优化可以通过提高编解码的压缩率,来减少带宽的延迟。

b、编解码参数调整是一个相对需要适配的过程,在不造成卡顿的基础上尽可能的调低延迟,比如:减小 Gop(减小视频关键帧的频率)、降低分辨率、减少 qp(压缩比)等。

2、网络传输的优化

融云在全球部署了多个数据中心,拥有数千个加速节点,搭建起了一张覆盖全球 233 个国家和地区的全球通信加速网络,互联网络达到专线品质,传输更安全、高效。这也为客户扫清了空间阻碍,让全球范围内的融云客户能享用稳定高效的实时音视频服务,用户就近接入数据中心,直接通过专线级联的方式来减少网络传输造成的延迟。

3、动态调整缓冲区

通过动态调整 JitterBuffer 在延时及抖动中找平衡,一个好的 JitterBuffer 应该是可以根据网络状况动态调整大小,网络状况比较好的时候,应该减少缓存大小,减小端到端的延迟。


融云实时音视频· 抗弱网 高流畅
移动网络时代的丢包现状

按照前文图中所示:通常一个用户 A 与用户 B 之间的通讯过程,是用户 A 设备通过网络连接到服务器,然后服务器与服务器进行直接通信,最后服务器再连接到用户 B。这里共有三个阶段,每个阶段都有可能造成丢包,如果再涉及到跨国的通信,那么就会出现非常高的丢包率。

当网络丢包严重时,音质会变差,画面帧速会下降,甚至出现卡顿。

如何优化丢包?

WebRTC 主要通过 FEC 和 NACK 来对抗网络丢包的情况:

前向纠错 FEC:主要通过数据包的冗余发送机制,这样当 A 数据包丢失时,可以用 B 数据包的冗余数据恢复 A 数据包,达到抗丢包的效果,但是增大了数据传输的带宽。
丢包重传 NACK:当接收方检测到 RTP 包有连续丢包情况时,它会发重传请求,发送方会重发这些数据,但不是所有情况下出现的丢包都会重传,如果网络延迟很高,就不适用 NACK 机制,因为这样会造成缓存过大,增大延迟,有些情况下我们可以通过请求关键帧的方式,来解析出图像,替代数据包的丢失重传。
针对 H.264 谷歌并不推荐同时使用 FEC 和 NACK, 因为 H.264 会判断丢失的数据包是不是关键帧或 P 帧,如果丢失的是一些 FEC 的冗余数据,这时候没必要发起丢包重传,所以综上所述,如何在丢包和延迟的网络环境下提供更好的用户体验,我们会通过判断丢包率和延迟的大小,来决定如何应对丢包,如果网络延迟很高,我们会采用 FEC 来处理,而如果网络延迟很低,则会采用 NACK 的方案。

除了以上方案,在对抗丢包还有 ARC 和 ARQ 等方案,但是每种方案都有自己的优缺点,如何能够在弱网下提供更好的用户体验,需要我们通过监测当前网络的状况,动态的选择优化策略,在不同方案直接寻找平衡。

3分钟融云 Demo 体验:RTC 实时音视频篇

WebRTC融云那些事 发表了文章 • 0 个评论 • 109 次浏览 • 2020-06-16 18:22 • 来自相关话题

2019年,融云发布了全新的实时音视频 RTC 3.0 版,以更高的技术稳定性、通信质量与灵活性,适应不同业务场景下一对一、多对多的实时音视频通信需求,为广大企业和开发者提供一个适配新通讯时代的选择。为了帮助开发者们快速掌握 RTC SDK 的接入方式,融云推... ...查看全部

2019年,融云发布了全新的实时音视频 RTC 3.0 版,以更高的技术稳定性、通信质量与灵活性,适应不同业务场景下一对一、多对多的实时音视频通信需求,为广大企业和开发者提供一个适配新通讯时代的选择。

为了帮助开发者们快速掌握 RTC SDK 的接入方式,融云推出了一款 Demo——SealRTC。SealRTC 是基于融云实时音视频 RTCLib SDK的最新版本开发实现的,可以进行实时音视频通话体验,主要用于验证 RTCLib SDK 的功能实践,为开发者提供集成参考,其功能包括:身份验证、音视频会议、双人和多人音视频通话、大小流切换等。

1、Demo 下载

这里我们以移动版 SealRTC 举例实操演示,此外融云官网还提供Web 端的在线体验,大家可以登录融云官网了解更多产品特性。


2、Demo 体验

①首先打开 SealRTC,通过输入房间号模式进行实时音视频通话体验,需要通过手机号来验证身份。


②开始音视频通话前,可以先对视频分辨率、美颜效果等基础属性进行设置。


可能有部分开发者朋友对于“大小流”这一概念比较陌生。这其实是一种视频带宽节省技术,音视频通话开启后不必获取参会人完整的视频流,而是通过小视频流来进行展现。举个例子,大小流类似于我们生活中常见的照片缩略图,这样即使在网络状况不佳的情况下也可以进行流畅的视频交流。

③通过验证并设置好基础属性后,即可进入音视频通话页面。


在屏幕右侧,增加了多个功能按钮,包括开启音乐和小视频、切换前后摄像头、使用互动白板等功能。在开启小视频后,左上角会出现小视频窗口,点击即可进行大小屏的切换。当结束通话时,点击最下方的红色电话标志,即可退出音视频会议。

结语:

作为全球互联网通信云领域的领跑者,融云在实时音视频市场拥有多年研发经验,各项技术指标保持市场领先水平,如提供一对一、多对多音视频通话能力,视频支持分辨率1080P高清画质,音频可对抗70%丢包,视频可对抗30%丢包,音视频延时最低可达66ms等等。目前,对于使用融云 RTC 3.0 及以上版本的开发者,融云不仅免收月功能费,现在每月还免费赠送 20,000 分钟通话时长。

当然,SealRTC 仅提供了最基础的音视频通话服务,如果大家想要在应用中集成更完善的实时音视频功能,请登录官网注册融云,下载 RTC SDK 来体验更丰富的产品功能吧。

VR看房实时互动 融云助力丽兹行构建云上销售模式

科技创新融云那些事 发表了文章 • 0 个评论 • 48 次浏览 • 2020-06-16 18:21 • 来自相关话题

突如其来的疫情改变了人们日常生活的轨迹,也在无形中培养和改变了诸多的新型消费习惯。据国泰君安证券研究所近期推出的一份消费洞察报告《疫情重塑消费习惯》指出:疫情导致人们户外活动大幅减少,很多消费场景“被迫”转移至线上,为传统消费行业带来转型机遇。在线教育、在线办... ...查看全部

突如其来的疫情改变了人们日常生活的轨迹,也在无形中培养和改变了诸多的新型消费习惯。

据国泰君安证券研究所近期推出的一份消费洞察报告《疫情重塑消费习惯》指出:疫情导致人们户外活动大幅减少,很多消费场景“被迫”转移至线上,为传统消费行业带来转型机遇。在线教育、在线办公、在线医疗、在线娱乐甚至在线卖房、卖车等,过去几年大量资本和企业投资也未能教育成熟的一些市场,反而被一朝催熟。

最具代表性的就是受疫情冲击严重的房地产行业。尽管随着疫情形势的向好,逐步放松了线下看房的限制,但考虑到繁琐的线下流程可能带来的健康风险,线上看房依然是目前特殊时期的最佳选择。

这段时间里,一些由房产开发商和房产电商平台开发的“线上售楼处”迅速上线,例如知名的高端房地产服务平台丽兹行,就在疫情期间全面上线了 VR 看房功能,不仅将房源更真实、更清晰地展现在消费者面前,让消费者无需在现场也能身临其境,还有置业顾问随时讲解,实时答疑,减少消费者的决策时间和成本,提升房源销售效率。


丽兹行 VR 线上看房活动
VR 沉浸式展示房源信息

相较于传统的线下带看服务,VR 线上看房的主要优势不仅在于能够克服地域限制,避免防疫期间线下带看的诸多不便,更多是给消费者和房地产平台带来实际意义上的帮助。

首先,对于消费者而言,VR 看房能够更为直观地获取数据。通过丽兹行的 VR 看房服务,系统会将房屋相关数据进行准确地标示,比如进行房间的高度、宽度、长度等数据的展示,还有朝向、距离等信息都可以直观地展现,这就有助于看房者获得更为精准的资料,为购房决策提供帮助。

而对于平台而言,减少了样板房和线下带看服务的高额成本。通过 3D 实景克隆技术,快速对大场景进行三维重建,实现空间 1:1 大小,100% 真实还原。然后通过 VR 场景向消费者全面地展示,让标尺数据、标签信息、空间信息在 VR 场景中一目了然,给消费者带来沉浸式的空间漫游。

实时互动助力房源成交

其实,单纯的通过 VR 全景来查看房源信息,这一功能在很多平台都早已实现。但丽兹行最大的特点是对房产进行 VR 展示的同时,还提供了 VR 直播带看服务,置业顾问可以带领消费者自由地在房屋中漫游、观看,如同线下看房一样进行全方位的一对一讲解。

最关键的一点,丽兹行借助融云 IM 和音视频服务,让置业顾问与消费者之间实现了实时的互动。置业顾问可以根据客户的需求随时调整讲解的进度和内容,在置业顾问讲解的同时,客户可以针对自己关心的问题进行提问,置业顾问进行实时语音答疑。通过双向交流,这个过程变成了置业顾问与消费者共同筛选房源,置业顾问能更精准的把握客户真实的核心需求,从而在信息讲解和推荐时才能做到有的放矢,进而缩短成交周期。除了 VR 带看的实时讲解和答疑,消费者还可以在丽兹行 VR 看房界面一键唤起置业顾问电话或者一键进入微聊场景,与置业顾问随时交流沟通。


丽兹行 VR 带看实时互动
自疫情爆发以来,房地产行业整体形势惨淡,但丽兹行仍借助 VR 看房等新型服务手段保持着业务的稳定发展。根据丽兹行豪宅研究院最新报告指出,2020 年 3 月以来成交已经开始呈复苏趋势,疫情结束后预计市场成交量回暖速度将会加快。融云也将继续通过先进的 IM 和实时音视频技术,助力丽兹行在服务模式上探索与创新,为房地产企业和平台快速构建实时沟通交流的互动场景,帮助平台服务好消费者,不断提升房源成交效率。

不仅仅是房地产服务市场,融云作为国内领先的互联网通信云服务商,一直致力于为教育、医疗、社交、电商、直播、金融等不同行业和场景提供通信能力的解决方案。值得一提的是,为了更好地助力各行业在疫情期间实现高效的复工复产,拓展新的发展机遇,融云在日前还特别推出了“199 元 IM 商用版首购专享”活动,希望以通信云技术赋能各行业,助力全行业业务回暖。此次活动针对全体开发者,无论是个人用户还是企业用户,只要新注册并充值 199 元即可获得价值 1500 元/月的IM商用版服务,限量 1000 个名额,购完即止,先到先得!

融云亮相2019音视频技术大会 深度解析 WebRTC 服务架构设计

WebRTC融云那些事 发表了文章 • 0 个评论 • 50 次浏览 • 2020-06-16 18:21 • 来自相关话题

“基于 WebRTC 的低延迟直播将会是未来直播行业的主流解决方案!”这是融云联合创始人兼CTO杨攀在 LiveVideoStackCon 2019 音视频技术大会上对于未来行业趋势的判断。2019年8月23 – 24日,LiveVideoStackCon 音... ...查看全部

“基于 WebRTC 的低延迟直播将会是未来直播行业的主流解决方案!”这是融云联合创始人兼CTO杨攀在 LiveVideoStackCon 2019 音视频技术大会上对于未来行业趋势的判断。

2019年8月23 – 24日,LiveVideoStackCon 音视频技术大会在北京举办,本届大会以“多媒体技术赋能新世界”为主题,聚焦音视频、图像等技术在全行业领域的最新探索与应用实践。融云联合创始人兼 CTO 杨攀应邀参会并发表了题为《可扩展的公有云媒体服务设计解析》的精彩演讲。


融云联合创始人兼 CTO 杨攀
在演讲中,杨攀向参会者介绍了融云 WebRTC 在服务端架构设计上的基本理念和思路,并将融云 WebRTC 的设计理念归纳为四点:复用 IM 消息通道;核心服务专注通信、能力服务专注业务;全球互联;部署简单、方便运维。同时在演讲中,杨攀还详细介绍了媒体服务和能力服务相关的架构设计、数据中心内服务集群的设计理念及遍布全球的服务网络。

杨攀在演讲中表示:“融云架构设计的核心理念就是解耦,让各项功能各司其职,避免互相依赖,这样就可以做到简单方便的部署和运维,让故障问题的排查更加方便,极大地降低企业的管理成本和运维成本。”而另一个核心理念是“全球互联”,融云为此专门构建了一张全球通信网络。


融云CTO杨攀解析媒体服务的架构设计
对于融云的媒体服务,杨攀在现场风趣地将其形容为“三无服务”。何谓“三无”?第一个“无”是媒体服务对其他媒体服务无依赖,第二个“无”是其他媒体服务对媒体服务自身无依赖,第三个“无”是每一个媒体服务自身无中心化配置。杨攀表示,这样“三无”化设计的目的同样是为了让系统足够简单易用,方便全球化的部署和运维。

在能力服务层面,杨攀表示,“解耦”作为核心设计理念贯穿在能力服务的设计中。首先是与媒体服务或信令服务解耦,不形成依赖关系,保持独立的架构设计。其次,不靠中央配置控制任何功能,而是通过接口和数据形成调用关系来实现。目前,融云可以为客户提供音视频混流、音视频审核、云端录像、视频标注等多样化的能力。


融云全球网络设计原则
在演讲的最后,杨攀就融云的全球网络设计原则进行了解析。他表示,当前全球网络环境仍亟待提升,特别是在国外,跨区域、跨运营商很容易导致音视频的延时和丢包,在这种客观的现实条件下,对于企业的全球通信能力提出了更高的要求。杨攀表示,融云在全球网络设计上有三个原则:一、客户端就近接入,多链路选择;二、数据中心间同源音视频只有一路级联;三、利用 IaaS 能力,进行中心间级联链路的优化。

目前,融云在全球设立了多个数据中心,并拥有数千个加速节点,覆盖全球所有国家及地区(共 233 个),构建起了一张安全、可靠、低延时、高并发的全球通信网。通过遍布全球的优质接入点,结合融云自研的最优链路调度算法,可将消息快速分发给终端用户,解决因跨国、跨运营商、大规模用户访问而导致的响应慢、丢包高、服务不稳定等问题。


参与嘉宾在融云展位交流
在本次大会上,杨攀将融云在 WebRTC 领域的架构设计理念和思路分享给所有参会者,旨在与业内技术人员进行思维上的交流、启发和碰撞,不断开拓视野、拓宽思路,与全球开发者一道加速音视频领域的创新发展。除了精彩的干货分享外,融云还在大会现场设立了服务展台,大屏实时播放融云产品的 Demo 视频,并由工作人员在现场向感兴趣的参会者介绍融云的产品和技术服务能力。

【关于融云】

融云,安全、可靠的全球互联网通信云服务商,向开发者和企业提供即时通讯和实时音视频通信云服务。iResearch 艾瑞权威数据报告显示,融云即时通讯云市场份额连续多年稳居头位。

融云构建了一张覆盖全球所有国家及地区(共 233 个)的通信云网络,在全球各地设立多个数据中心及数千个加速节点。基于客户业务需求,融云可提供多种部署模式——公有云、私有云、混合云,为全球企业提供稳定的互联网通信云服务。针对企业级用户,融云将业务垂直到各个行业,为社交、直播、金融、交通运输、教育、电商、医疗等多个行业领域推出了针对性解决方案。

融云基于海量业务的技术锤炼,从基础架构到精细化运营,充分体现平台实力;凭借卓越的产品和优质的服务,在开发者规模、行业覆盖率、平台日活跃用户数、日均消息量等方面超越全行业。目前,已有数十万互联网用户及上千家企业级用户通过融云实现了场景化沟通。

站在Z时代社交风口 融云打造语音聊天室新模式

科技创新融云那些事 发表了文章 • 0 个评论 • 36 次浏览 • 2020-06-16 18:17 • 来自相关话题

谁也没想到,2019年第一个风口竟然来的如此高调。2019年1月,排名App Store榜首既不是微信、支付宝这些传统大牌,也不是抖音、拼多多这样的互联网新贵,而是一款主打语音社交的App成功登顶。在随后的几个月时间里,更是有多款主打语音元素的App闯入App... ...查看全部

谁也没想到,2019年第一个风口竟然来的如此高调。

2019年1月,排名App Store榜首既不是微信、支付宝这些传统大牌,也不是抖音、拼多多这样的互联网新贵,而是一款主打语音社交的App成功登顶。在随后的几个月时间里,更是有多款主打语音元素的App闯入App Store排行榜,语音化的社交娱乐进入行业爆发期。而这一爆发其实早有迹象,无论是近几年兴起的狼人杀游戏,还是在火爆全球的吃鸡游戏中开黑,都离不开语音聊天功能的支持。据媒体数据统计,目前已有超过6000万用户使用语音作为网络社交的方式。

在高速增长的市场趋势下,如何才能更好地吸引和留存更多用户?这也对社交娱乐App的创新能力、语音服务能力和通信技术能力提出了更高的要求。作为互联网通信云行业的领头羊,融云推出全新的语音聊天室解决方案,针对语音社交服务的多种应用场景,在技术层面实现了模式和功能上的优化配置,满足行业客户在应用内快速实现多种语音聊天玩法的需求。

Z时代的社交需求 引爆语音娱乐市场

根据红杉中国发布的《00后泛娱乐消费报告》显示,在形容00后人群特征时,“扩列”需求旺盛,被放在了第一条,所谓的“扩列”也就是请求扩充好友列表,等同于交新朋友的意思。“孤独与自由并存,拥有多个社交应用,且每天花费超过1小时在社交应用上,喜欢互动体验强的设计。”


有行业人士指出:“在文字、视频、声音三种媒介中,声音门槛最低、说话几乎不需要任何成本,文字需要组织语言、视频有基于外貌的压力,而说话是大家现实生活中对外接触、交流使用最多的形式,这决定了连麦符合大部分人的准入门槛。”以声音这种更方便、亲近的交流方式能传递的信息比文字更多,语音、语气、语调甚至停顿长短都能反应一个人的情绪变化,不少年轻用户看来,声音可以让自己更贴切地感知到对方的存在。

这些闯入App Store排行榜的语音社交娱乐App恰恰击中了新青年好奇又孤独的性格特征,以声音为媒介切入社交娱乐领域,并迅速进入95后乃至00后的世界。95后的一代往往也被称作Z世代,这群和智能手机同时成长起来的用户,对新产品的接纳度更高,也代表着未来移动互联网的流量方向。

打造语音娱乐空间 不断扩展服务场景

语音社交领域持续火爆,融云在服务社交、游戏、直播等行业客户的过程中,也在不断推动着IM、实时音视频技术与行业应用场景深度结合,在深入了解客户需求后,融云语音聊天室解决方案针对不同场景进行了技术和服务体验上的双重优化,目前融云可以支持娱乐聊天室、在线KTV、连麦开黑、多人相亲、热歌接唱、陪伴房等多种娱乐应用场景。

①娱乐聊天室

6–8人频道,用户自由上麦发言,支持观众围观。用声音做桥梁,满足那些“声音控”的用户,提供靠声音不靠颜值的社交方式。

②在线KTV

用户可在线点歌,体验独唱、对唱、合唱等多种模式,让你随时随地拥有身临其境般的KTV包房享受。

③连麦开黑

可自由创建房间,和小伙伴们一起连麦玩游戏,不用退出游戏也能通过语音完成实时同步交流。

④多人相亲

主持人可对麦位进行性别限制,多位嘉宾可同时语音连线,轮流自我介绍,浪漫告白,还可以为心仪的嘉宾赠送礼物。

⑤热歌接唱

随机播放歌曲,6-8人通过随机分配或邀请进入房间,可通过抢麦接唱。接唱者可选择演唱时打开自己的摄像头,向大家展示演唱时的个人影像。

⑥陪伴房

两人语音连线,陪他聊天、听音乐、看电影。为情侣、异地恋、单身求陪伴的用户提供更私密的空间。


以最常见的娱乐聊天室为例,房主创建语音聊天室房间后,可以设置上麦、下麦、抢麦、轮麦、抱麦、禁麦、跳麦等多种麦位管理方式,用户加入到语音聊天室后只可以收听,可选择上麦或被房主抱麦,成为连麦者,获得发言权限。房间可以支持8位连麦者自由上麦发言,连麦者可以随意更改到其他空的麦位上,即跳麦,也可以选择下麦变成观众。直播间可支持上万名观众同时在线,观众和连麦者的身份可以随时切换,满足娱乐、K歌、游戏、相亲等不同场景。

融云通信技术革新 升级用户社交体验

根据36氪研究院最新发布的《社交行业研究报告》显示,技术变革为社交带来了全新的展现形式,过去的社交形式主要是以图文为主,现在音视频形式的社交平台则更能快速吸引用户、黏住用户,社交平台正在借助先进的技术手段来实现社交的垂直化、兴趣化、个性化和娱乐化,这一方面源自4G和5G网络环境的迭代优化,另一方面则是得益于通信技术的革新,帮助社交平台更好地将服务全方位融入应用场景中,全面升级用户的社交体验。


①高效极简的信令通道 保障通信稳定

实验证明,当通信延时大于300ms时,在用户端就会明显感受到语音通话质量的降低。为了满足客户对于语音聊天室稳定的需求,融云打造了专为实时音视频场景设计的信令通道,来保证复杂网络环境下的语音通话的连通率和稳定性,目前融云可以做到延时最低可达 66 ms,最大限度降低了网络延时和网络丢包等问题。此外融云语音聊天室采用48 KHz 全频带音频编码,同时采用智能降噪技术,保障语音信息在存储和传输的过程中没有失真,让用户享受到真正的畅快欢聊体验。

②成熟的IM技术积累 稳定支持高并发

当App用户量达到一定规模后,高并发之下,应用内IM功能的稳定性将会面对前所未有的考验。融云依靠十余年 IM 技术积累,将语音聊天室解决方案打磨成熟,通过成熟的私有通信协议和完善的代码结构,实现了亿级并发的高性能、分布式的微服务方式以及集群化的部署,保证实时互动稳定流畅无卡顿。融云最高曾单日支持2218亿消息并发,稳定支持多款亿级产品。

③可靠的全球通信网络 助力App出海

随着现在国内语音社交娱乐产品越来越多,国内的竞争愈发激烈,越来越多的厂商将目光瞄准了海外。而相对于国内稳定的网络环境,App出海不仅要面对不同国家和区域参差不齐的网络质量,还要考虑到应用在海内外的消息互通。针对这些有出海需求的客户,融云构建了一张覆盖全球所有国家及地区(共233个)的通信云网络,在全球各地设立多个数据中心及数千个加速节点,融云保障随时随地均有至少3个就近节点提供接入,保障App在海外弱网环境下也能拥有稳定可靠的通信能力。

此外,融云语音聊天室解决方案向开发者们提供开源代码,接入非常简单快捷,帮助客户实现App快速上线的诉求,同时接口灵活程度高,可快速对接变声、动态表情、反垃圾、鉴黄等第三方插件,满足不同应用场景下的服务需求。

融云语音聊天室解决方案上线的同时,融云还提供了一款Demo——SealMic,方便开发者们更好地理解融云语音聊天室的功能属性和使用场景,感受多人语音互动、麦序麦位、聊天等玩法,并可以根据自己的应用来衍生出更多实用、有趣的新功能。

探寻融云多年领先的秘密:不断创新贴近开发者真实需求

科技创新segmentfault思否 发表了文章 • 0 个评论 • 52 次浏览 • 2020-06-16 18:17 • 来自相关话题

融云全名北京云中融信网络科技有限公司,是一家安全、可靠的全球互联网通信云服务商,向开发者和企业提供 IM 即时通讯和实时音视频通信云服务。经过近 6 年的发展,融云已经连续多年稳居 IM 即时通讯市场第一。目前,融云业务覆盖全球 233 个国家和地区,日活超 ... ...查看全部

融云全名北京云中融信网络科技有限公司,是一家安全、可靠的全球互联网通信云服务商,向开发者和企业提供 IM 即时通讯和实时音视频通信云服务。

经过近 6 年的发展,融云已经连续多年稳居 IM 即时通讯市场第一。目前,融云业务覆盖全球 233 个国家和地区,日活超 7 千万,SDK 触达用户 45 亿,日均消息量 150 亿,峰值的单日消息量最高 2218 亿。

即在全国的手机用户中,平均每个手机中至少有 5 款App的底层通信能力由融云赋能。从平台服务用户数量级来说,融云已跃升为继微信、QQ之后的我国第三大通信云平台,而作为PaaS服务,融云则稳居互联网通信云赛道第一。

能取得如此瞩目成绩的背后,是融云多年来在技术研发和服务领域的奋斗和努力。究竟融云在这6年的发展中做对了什么?对此我们专访了融云产品及解决方案 VP 林光柘,请他为我们讲述融云取得成功的秘密。

思否:能否请您先介绍一下主要工作经历,专注的技术研究方向,以及目前所负责的工作。

林光柘:我在 2016 年加入融云,之前有十几年的 ToB 领域工作经历,主要是在用友和致远互联的企业级服务经验。

在加入融云后依然在做企业级服务的工作,但服务的方向从 SaaS 或者说企业级软件产品更偏向了互联网产品,领域也更加细分成为客户提供专业的互联网通信云能力。目前更多是专注在 IM(Instant Messaging)、RTC(Real-time Communications)等通信能力相关的服务与通信行业的研究。

思否:融云在此次疫情防控中为社会和企业贡献哪些力量?

林光柘:因为疫情很多人无法到办公室办公,也无法到线下进行面对面交谈。促使包括远程教育、远程医疗、电商直播和企业办公会议等行业在近期有了一个井喷式发展。

融云可以看到平台上已有客户的业务量级翻了好几倍,甚至是十几倍。之前没有和融云合作的客户现在也大量的接入融云。

为了保证企业在这个关键时刻可以平稳运行,融云团队在春节期间就加班加点开始了服务工作,正式开工后无论是在家办公还是在办公室工作的同事也都非常繁忙。

为了帮助更多企业机构一起抗击疫情,融云在疫情期间还免费开放了在线医疗、在线教育及协同办公场景的通信能力,近期还成功入围“创客北京2020”疫情防控专题赛50强。

思否:疫情之下开启了哪些业务新场景?从通信云服务商的角度看以在线 VR 看房为例的 VR 业务未来会有怎么的发展?

林光柘:很多人认为即时通讯就是我给你发一个消息或者文字。但其实整个行业对即时通讯的定义已经发生了改变,现在更多的客户会把即时通讯当成是信令的控制。

VR看房是我们最近看到的一个领域,但其实在 VR 看房之前就与一些客户在新场景下进行了合作。

比如说在去年与教育行业客户合作时,就使用消息来做一些教具的同步操作。老师在控制教具的同时学生这边就会发生相应的变化,学生与学生之间传递教具也同样会实时发生变化。其实这些所有的传递过程都是用即时通讯来实现的。

融云亲历整个即时通讯行业的发展,从传统的提供发送图片、文字和语音的能力,到现在已经深入到客户的业务之中,更加模块化场景化的为客户提供服务。

说回到 VR 看房,传统的 VR 看房是客户体验一个房屋,由客户自己看就好,现在最主流的 VR 看房的逻辑已经发生改变。经纪人进入到房屋并转动手机查看房屋,客户实时同步画面信息。

其实这些所有的过程都是用 IM 来完成的。IM 帮助 VR 视频的两端进行房屋状态与位置的同步,当然观看过程中同时也发起了音视频通话,相较于传统的 VR 一对一看房,融云提供音视频支持,可以满足更多用户同时处于 VR 看房的场景之中。经纪人还可以随时讲解,实时答疑,减少消费者的决策时间和成本,提升房源销售效率。

思否:疫情之下融云为什么会被更多企业选择?融云 IM 和实时音视频两大业务线的优势有哪些?

林光柘:融云虽然不是 BAT 一样的超巨型企业,但从 2014 年成立以来一直专注于 IM 通信行业。没有做更多的业务层扩展,也拒绝跟随社会上一些所谓的风口。这样促使了融云在通信行业的专业精通。

并且我们发现融云从成立以来几乎所有的需求都来自于开发者,凡是开发者提出的通用需求,那么一定是可以被其他企业复用的,融云拥有大量的开发者需求建议。这有两点好处,一是来自开发者的意见最为贴近真实需求,二是融云保证了从成立以来快速的迭代与发展。

虽然有人可能会说 IM 这个事情非常简单,但因为一直保持着快速的版本迭代,不断有一些新的场景新的应用融入进去,让融云建立了自己强大的技术优势。

IM 和实时音视频虽然并不分家,但也并不是普通用户所认为的 IM 和实时音视频完全一样。从底层的逻辑来说 IM 和实时音视频是完全不一样的。

从技术线路与技术逻辑来看,比如呼叫、接听和操作等全部是 IM 的过程, IM 比实时音视频的稳定性要高出很多。又比如看到对方的状态,或者向对象进行一些操作也都是 IM 的过程。融云天然地把 IM 和实时音视频整合成了一个 SDK。在给客户提供完整一体化的解决方案上融云拥有天然的优势。

音视频通话至少要连的上,那么连的上靠什么保证,那就是要靠 IM 信令全部有机的结合在一起。

几乎所有的大厂都会说自己有音视频的能力,甚至包括一些 IaaS 厂商也会说自己有音视频的产品,但很少厂商会说自己有 IM 能力。

其实实时消息时序和一致性是分布式系统架构设计中非常难的问题,尤其 IM 应用这种以消息为中心的应用形态。融云是业界唯一承诺消息不丢、不重、不乱序的通信云厂商,通过消息重发补偿等机制,确保信息 100% 到达,这也促成了融云在 IM 的能力上有绝对的自信。


融云IM消息送达流程图
思否:融云的海外业务受到了什么影响?做了哪些努力来保证业务顺利进行?

林光柘:海外市场不是说我今天要干,一次性投入我今天就能干好。融云其实从 2016 年开始就协助中国的企业出海,并且一直不间断的对出海业务做持续的投入。

现在融云拥有 IM 厂商独有的海外数据中心和全球加速节点网络,都是与这么多年的持续投入分不开的,也正因为如此融云在面对疫情的时候没有任何慌乱。

海外服务到底稳不稳,不是说客户在外面找到几个测试点就能测出来的,一定要有大量的海外客户与 C 端覆盖才能进行大规模验证并给出答案。

如何保证海外业务的稳定?融云从自建全球底层通信架构和自研的最优链路调度算法给出了答案。一条消息从美国到中国,通常要经过100多跳,而通过融云的链路加速可以缩短为6跳。客户可以择优选择就近接入节点,规避复杂网络环境带来的不稳定、高延时连接问题。

思否:ZOOM深陷用户隐私泄露的困境中,融云在视频会议业务中是如何保护用户隐私数据的?涉及到什么技术?

林光柘:融云作为 PaaS 服务平台有一个整体的设计来保护用户的安全,首先融云保证绝不触碰用户数据,其次保证不触碰用户的任何业务信息。

我们最近接触到了一位新加坡客户,目前他们使用 ZOOM 来进行办公会议等业务,但最近接到相关政策通知未来不能继续使用 ZOOM。

因为融云在海外有非常好的技术储备,客户通过集成融云 SDK 直接就可以上线,不需要用户的任何信息,只需要一个特别简单的 UID(User Identification)就可以实现 IM 和实时音视频的所有场景。所以这位新加坡客户正在考虑与融云合作,当然这也是对融云的一种认可。

对融云有所了解的开发者可能知道,融云核心技术团队来自飞信,我们积累了飞信处理海量并发的经验。所以在技术选型上,融云并没有采用大家耳熟能详的 XMPP、SIP、MQTT 等通用的通讯协议,而是从成立之日起,代码层就完全从0开始做正向研发,满足移动互联网时代的开发需求。融云自研了协议名称为 EverSync 的私有通讯协议,数据在通信过程中避免了明文传输与存储,同时还具备防篡改能力和防劫包重发的能力,从而完全解除了客户对安全的后顾之忧。

也正因为我们完全符合严格的GDPR(General Data Protection Regulation),可以无障碍的为我们的客户提供全球服务,满足各个国家和地区的合规性要求。

思否:融云如何实现特殊场景下的抗弱网环境和 QPS 承载能力的高稳定性?

林光柘:在解决这个问题上没有任何捷径,我们是靠一个一个坑趟出来的。

融云的做法是研发与测试拿着笔记本去模拟,也就是实时地去各种场景测试。前年开放了飞机上的 WiFi 环境,我自己因为出差比较多,有时间的话也会在飞机等一些特殊场景下进行测试。

之前有一个客户开展了埃及的海外直播业务,开始的时候选择了一家大厂为其服务,但是发现很多场景下网络连不上。随后这个客户找到了融云,不过融云在当时也没有很好的解决这个问题。

但融云的优势就在于灵活,发现问题后,我们的研发同事直接就冲到现场,快速地沟通收集相关连接信息,通过排查发现,可以通过优化最底层协议栈的逻辑,进一步提高抗弱网的性能,来满足当地的网络环境,研发马上投入去改底层的SDK链接逻辑,给客户提供新版本的SDK上线,最终我们完美的解决了问题。

接下来讲下 QPS 承载能力高稳定性的问题,融云最开始的架构支持聊天室承载上限是 3 千人,当互联网直播业务刚起步的时候,我们就意识到直播聊天室将要井喷式发展,在 2015 年快速调整聊天室架构,很快速地上线了高并发的直播聊天室业务。

到之后可以承载十几万到几十万高并发的最大数据,甚至可以承载更大的用户数据量,曾经有客户一天传送了一千亿条消息也侧面证明了融云的能力。

业务中融云提供后端服务端实时监控,发现有过阀值的时候动态横向弹性扩容,确保稳定的同时让客户完全不会感知到压力变化。

思否:融云为了贴近开发者做了哪些努力?

林光柘:现在融云的客户端接口有近600个,服务端接口超过100个,后台可以开通的功能也有100个左右,并且都是不同的场景需要个性化开通的功能。开发者实际使用的时候 IM 的业务逻辑比实时音视频复杂,实时音视频的技术难度也相对较高,两者相辅相成又都有各自的难点。所有这些点集合在一起,如果没有明确的指导掌握起来会有些难。

开发者想要把这些接口使用好,逻辑其实就像乐高拼接积木一样,如果有清晰的说明书就会简单很多。如果只是使用乐高散件,想要去拼成一辆汽车,这个事情就会非常困难。

其实融云2014年到今年春节前的文档都还有优化的空间。为了更贴近开发者的需求,融云今年专门组建了一个文档专项团队,团队成员全部拥有两年以上的支持服务经验,他们知道用户的问题、卡点和使用场景。专项团队的成员共同配合写了一个全新的文档,方便开发者去阅读理解业务。

文档中的内容完全是以客户希望看到的场景为视角,并且我们正准备未来让所有研发都要站在开发者的角度来想问题。后续我们还会考虑会做一些新的视频或者代码片段,让开发者更加轻松。

思否:融云短期内最重要的计划是什么?

林光柘:我们依然会在 IM 和实时音视频这两大业务上持续投入,提供更加贴近场景化的解决方案,满足当下社交、直播、教育、电商、医疗、游戏等行业对通信云能力的新需求。

可以发现融云现在依然还有很多需求在排期中,作为一个拥有两百多人的团队、专注于 IM 与实时音视频业务多年的公司,不仅在业务层更贴近开发者及企业需求,我们也希望追求技术性能的持续优化,通过不断完善细分领域的技术难点为客户带来更稳定、高效的服务。


融云产品技术云图
思否:还有什么想对外界一直关注融云的朋友们说吗?

林光柘:有一部分用户可能有这样的想法:「有 QQ 和微信为什么还会有融云这样业务?」虽然都是即时通讯,但服务群体是完全不一样的,微信和 QQ 是我们手机里的应用,服务对象是 C 端用户,而融云则是 PaaS 服务,为应用提供底层的通信能力,包括像汽车之家、哈啰出行、寺库、易车、荔枝等在内的 30 多万个应用,他们的用户可以在 App 里实时交流互动。

融云现在已经成为了互联网级产品所不可分割的一部分。客户的业务系统去解决一个短链接的业务是非常容易的,但如果想大量的交互,想要不同客户端之间互联互通,甚至是说像 VR 和硬件一体化问题的解决,在这个智能物联网加 5G 时代马上到来之际,可以提供强大通信能力的融云将有更大发展空间。所以融云未来的发展非常可期,也希望大家可以持续关注融云。

融云实时音视频落地各应用场景 以 RTC+IM 双重能力服务开发者

WebRTC融云那些事 发表了文章 • 0 个评论 • 47 次浏览 • 2020-06-16 18:09 • 来自相关话题

疫情之下,在线教育、娱乐社交、电商直播等领域逆势增长,也带动了开发者们对于 IM 和 RTC 能力的需求热潮。然而对开发者来说,分别选择不同 IM 和 RTC 厂商实现通信场景,不仅降低开发效率,还会大幅增加产品上线后的运营和服务成本。为解决部分开发者的实际需... ...查看全部

疫情之下,在线教育、娱乐社交、电商直播等领域逆势增长,也带动了开发者们对于 IM 和 RTC 能力的需求热潮。然而对开发者来说,分别选择不同 IM 和 RTC 厂商实现通信场景,不仅降低开发效率,还会大幅增加产品上线后的运营和服务成本。

为解决部分开发者的实际需要,融云适时升级了实时音视频产品,并推出了“IM 即时通讯+实时音视频+推送”一体化解决方案,就是要“以一套 SDK 解决所有通信场景”,满足多场景下的高品质通信的需求,成为下一代 RTC 的创领者。

在线教育场景的 RTC 应用

在线教育中,由于不同学生群体的需求不同,催生了丰富的在线教学模式,融云实时音视频可以支持互动小班课、一对一辅导、大型互动直播课、双师课堂、音乐教学等全场景在线教学模式。

小班互动课和一对一辅导场景,重点需要保障师生上课质量体验,课堂稳定流畅不卡顿,目前融云实时音视频可以做到全球端到端延时小于 400ms,最低延迟 66ms,满足超低延时需求。同时通过融云实时音视频服务可以灵活地控制音视频流的订阅和发布,让教师端可以任意选择单个或多个学生进行课堂答疑互动;此外课堂白板作为老师上课、讲解要点的重要工具,融云可以提供互动白板及高清屏幕共享,满足师生互动的需求。


融云满足一对一辅导场景的强互动需求
大型直播互动课程和双师课堂中,主要是保证 QPS 下仍有稳定的承载能力和低延时的互动体验。融云首先采用去中心化多点分布式的全球架构,无需对接 CDN,可支持不限量学生同时在线,支持千万级并发态;其次,利用全球加速网络,多端用户实现就近节点接入,直接通过专线级联的方式来减少网络传输造成的延迟,实现师生音视频远程连麦互动的低延时体验。


融云支持无成员上限的互动直播聊天室
在较为特殊的音乐教学场景,尤其需要高清音乐模式,针对器乐的高频音段和弱音音阶进行优化处理,融云在音频方面采用全声道采样、立体声支持,支持最高音频采样率 48KHz,可真实还原对端声音,高度还原音乐细节。此外,融云实时音视频还提供隐身监课功能,课程监督者可隐身进入课程房间,实时了解课堂情况,能够有效帮助平台提升课程品质,提高用户满意度。

泛娱乐社交场景的 RTC 应用

泛娱乐社交中,融云可提供包括音视频连麦、观众直播、麦位管理、互动聊天室在内的一整套解决方案,适用于泛娱乐直播、语音聊天室、相亲交友、音视频通话等多场景。

泛娱乐直播场景中,融云提供的低延迟互动直播是基于RTC技术做的直播推流,它不依赖 CDN 推流,主播观众间延迟在 300ms 左右,主要服务一人直播多人互动的场景,比如直播带货、直播连麦、语聊、游戏社交等,为主播端到观众端延迟无感知的实时互动提供高质量保障。与 RTC 技术不同的,另一种实现音视频能力的 CDN 技术,往往直播延时在 3-5 秒。

在泛娱乐直播中经常会出现多麦位直播场景,即多人直播互动场景,融云可以提供麦位双向音视频通话能力,观众可以清晰收看合流直播;同时还可以通过融云 IM 通道实现上麦、下麦、抢麦、轮麦、抱麦、禁麦等多种麦位管理方式,让房主更好地管理直播间。此外,融云通过自定义聊天室属性,提供 Key、Value 多种存储方式,实时记录客户端与服务器端用户麦位状态,实时更新,确保多麦位直播的流畅无卡顿。


融云语音聊天室解决方案
近期,全球音频社交类 App 开发增多,语音聊天室这类场景被关注。融云为开发者们提供了“多路音视频互动”技术,纯音频可以做到支持 32 路连麦互动,同时提供多种控麦能力的“麦序管理”功能,满足开发者快速构建多人语聊场景的需求。

更多领域中的 RTC 应用

智能硬件领域,在智能手表、智能音箱、VR 眼镜、智能门禁中,融云均可帮助开发者实现端到端的一对一/多方音视频通话;尤其在智能音箱场景中,手机端可以远程监控音箱端,如遇紧急情况,可随时开启服务器端录像功能。

在地产服务中,融云可以帮助客户实现 VR 直播带看,利用 IM 信令通道实现多端 VR 同步看房;利用实时音视频技术,让用户与客户经理实时语音连线,实现客户经理远程 VR 带看并同步讲解。

在线医疗的远程会诊,融云可帮助开发者实现多方会诊、病历上传、病情讨论、后台录制等功能;在线问诊中,融云还可提供互动白板、时长计费、IM沟通与高清多方音视频等。

此外,企业通信的协同办公、视频会议;金融服务的远程面签、视频客服等,凡涉及互联网通信领域,皆是融云 RTC+IM 双重能力所覆盖的范畴。

结语

在实际应用场景中,IM 和 RTC 能力是密不可分的。有 RTC 需求的几乎 100% 都有IM 需求。融云 RTC 调用了 IM 信令通道,在稳定性、可靠性和通信接口协调性上,都能确保性能质量更佳,以 RTC+IM 双重能力为开发者提供更好的服务。在当前更为强调互动性的移动互联网新时代,通过融云“IM+RTC+推送”一体化解决方案,可以帮助开发者更加快速地构建低延迟、高品质的应用通信能力,实现音视频通信的全行业、全场景覆盖。

【融云分析】做好 WebRTC 的两大必备要素

WebRTC融云那些事 发表了文章 • 0 个评论 • 47 次浏览 • 2020-06-16 18:01 • 来自相关话题

| 什么是 WebRTCWebRTC 是一个可以使我们在浏览器或移动 App 中直接进行音频/视频交流的技术,它可以进行 P2P 文件共享,处理大量音频数据,实现在线视频会议等,WebRTC 使设备能够在平台和浏览器之间传输音频和视频。使用特定的 API ,开... ...查看全部

| 什么是 WebRTC

WebRTC 是一个可以使我们在浏览器或移动 App 中直接进行音频/视频交流的技术,它可以进行 P2P 文件共享,处理大量音频数据,实现在线视频会议等,WebRTC 使设备能够在平台和浏览器之间传输音频和视频。使用特定的 API ,开发人员可以允许他们的用户通过简单的浏览器连接设备,而无需任何额外的插件、扩展或软件安装。这种多功能性使得 WebRTC 成为各种物联网设备开发人员的热门选择。

| WebRTC 的应用前景

从 2G 时代的文字信息传输到 3G 时代的图片传输再到 4G 时代的直播热潮,每个网速时代的变革都将我们的梦想一步步实现;随着 5G 即将到来,更好的上网体验将会极大地推动音视频行业的发展和创新。

WebRTC 也将激活人与人、人与物、物与物之间的信息纽带,解决互联网音视频通信的技术门槛问题,成为应用场景创新的强大技术保障,为社交、监控、视频会议、物联网、在线教育、远程医疗等场景注入新的活力。随之,互联网尤其是移动互联网上基于 WebRTC 的各种应用创新也将层出不穷。

| 如何做好 WebRTC

一款音视频产品通常会包含信令服务、媒体服务、网络服务等几部分;而一款运行稳定、性能出色的 WebRTC 产品,则需要满足以下几个要求。

1、稳定的信令系统

我们需要通过信令来控制 WebRTC ,并且在此基础上构建各种业务逻辑。信令即协调通讯的过程,应用要发起一个音视频通话,通常需要在客户端之间交换如下信息:

1) 会话的信息

2) 设备的能力,编解码、分辨率、码率等

3) 秘钥信息,用于创建安全连接

4) 网络信息,如外部能访问的主机 IP 和端口

5) 传递信息,通过信令来实现业务场景中的通话控制

……


如上图:如果 A 和 B 要发起音视频通话,需要将双方的 SDP 信息做交换,才能建立连接。由此可见信令系统若想保证足够的稳定,连通率、到达率、高并发、高可用等技术指标需全部达标,才能确保 WebRTC 通话的建立和通话过程中的逻辑控制。

2、高可用的媒体服务器

WebRTC 常见的几种模式如下:

1) Mesh 网状结构

通过搭建 Turn/Stun 服务直接发起端到端的 P2P 通话。


优点:不需要搭建 MediaServer 。

缺点:对于多人通话需要每个客户端都跟其他两个端分别建立 P2P 连接,每新增一个客户端,所有的客户端都需要新增一路数据上行,导致客户端上行带宽占用太大。因此,通话人数越多,效果越差,也无法在服务端对视频进行额外处理,如:录制存储回放、实时转码、智能分析、多路合流、转推直播等。

2)MCU

服务端负责把参与者的视频做混流,多人参会每个人只有一个上行视频,同时接收一个下行视频流。


优点:客户端压力较小,带宽消耗小,服务端可以控制下发的视频数据,从而可以发起更多参与者的视频会议。

缺点:服务器资源消耗较大,对服务器的性能要求高,服务器成本高昂。

3)SFU

SFU 的全称是:Selective Forwarding Unit,是一种通过服务器来路由和转发 WebRTC 客户端音视频数据流的方法。 SFU 服务器最核心的特点是把自己“伪装”成一个 WebRTC 的客户端,将一个 Client 端的数据转发到其他多个 Client 端。


优点:对服务器性能要求不高。

缺点:对服务器和客户端带宽要求高。

| 融云音视频的实践

音视频领域飞速发展的今天,融云也通过在音视频领域多年的摸爬滚打,充分借助融云 IM 通道的稳定性和数年来逐步优化的覆盖全球的专有网络优势,打造出了自己的音视频解决方案。

1、信令系统

1)可靠性

融云对分布式 RTC 网络的活用,让信令服务与媒体服务不需要状态同步,媒体中心间不需要状态同步;音视频复用融云即时通讯信令通道,信令服务与媒体服务解耦、无依赖;弱网环境下,消息发送方只要将消息发送到服务器端,服务器端能确保消息不丢、不乱、不重。

2)安全性

基于融云自有知识产权的连接加密技术,可以防止黑客以中间人方式进行数据窃听,数据在传输过程中不可破解, NAV 导航服务与 CMP 连接管理服务的安全算法一致,每个客户端从导航服务获取到加密校验值( SM2 标准),均按照安全算法与所连接的 CMP 服务进行安全协商,针对校验值 CMP 会进行合法性验证( SM3标准),协商的校验值不能在其他 CMP 连接管理服务上使用。消息在传输之前,通过 SM4 对数据进行加密,并且通过加密连接传输将信息发送到发送方所在 CMP 连接管理服务,之后,由发送方所在 CMP 连接管理服务进行解密并将解密后的消息发给消息服务,依据协议内容,由消息服务负责将信息传递给接收方所在 CMP 连接管理服务,而后 CMP 连接管理服务依据接收方的密钥进行信息加密,最后通过加密连接下发信息。

2、MediaServer


1) 全球化部署,低延迟

全球部署多个 MediaServer 数据中心,用户就近接入;跨国网络之间通过专线连接,保证媒体数据传输延迟低。

2) 动态扩展

信令和 MediaServer 完全解耦,随时随地部署,通过监测服务器负载情况可以随着业务量级增长动态横向扩容,保证业务的高可用性。

3) 高质量音视频流

通过高效的处理,提高服务器吞吐量,减少丢包率,通过丢包重传和网络探测机制,提高在弱网环境下的音视频质量和用户体验。

【融云分析】可扩展的公有云媒体服务设计解析

科技创新融云那些事 发表了文章 • 0 个评论 • 47 次浏览 • 2020-06-16 18:26 • 来自相关话题

编者按:作为互联网通信云服务商,除了满足最基本的音视频数据实时传输需求外,还会需要提供很多个性化的云端服务。本文来自融云的联合创始人兼 CTO 杨攀在 LiveVideoStackCon2019 北京站上的精彩分享,结合融云去中心化的媒体服务架构,解析如何构建... ...查看全部

编者按:作为互联网通信云服务商,除了满足最基本的音视频数据实时传输需求外,还会需要提供很多个性化的云端服务。本文来自融云的联合创始人兼 CTO 杨攀在 LiveVideoStackCon2019 北京站上的精彩分享,结合融云去中心化的媒体服务架构,解析如何构建灵活的、可扩展的音视频通讯云服务。


大家好,我是融云的联合创始人兼 CTO 杨攀,本次我分享的主题是融云在公有云媒体服务设计的理念和思路。


我是从2002年参加工作,至今已经十七年,其中有十五年的时间都是在做关于 IM 的工作。2004年时我加入了 MSN,作为 MSN 进中国第一个落地的本地化服务,我在其中担任项目负责人的工作。2008年到2014年间我都在从事与飞信相关的工作,经历了飞信从一个非常小的业务成长为数亿级规模的水平。2014年后随着云服务的兴起,我与团队创立了融云,将即时通讯与云服务结合提供给开发者,让开发者可以通过调用 SDK 使用 IM 服务。


本次演讲将分为设计概述、媒体服务、能力服务、服务集群和服务网络五个部分展开。

设计理念

融云是一家互联网通信云服务商,众所周知,要想做基本的音视频服务,首先你需要具备信令服务、能力服务和媒体服务这三种能力,这些能力都基于 WebRTC 技术,但 WebRTC 本身的定义是 P2P 的通讯,它本身并没有服务部分,在服务部分有很多开源的实现解决方案。其次 WebRTC 也没有定义信令服务的部分,很多厂家都是通过自己开发或采用第三方信令的方式来解决这个问题。信令其实就是一个长链接的通信通道,它与 IM 即时通讯其实是一样的,融云也有案例说明客户可以采用融云的公有云即时通讯解决方案来满足信令服务的需求。随着基础通信能力达到要求之后,又不断引入新的需求,比如对音视频内容的审核、更大规模的使用WebRTC技术替代直播平台的解决方案,这也就引入了类服务这样新的功能。融云即时通讯业务的设计理念是各司其职、避免依赖,核心服务专注通信,能力服务专注业务,只要做到这一点,系统就可以实现部署简单和运维方便,降低管理的成本。另外融云作为全球互联网通信云服务提供商,在设计之初就不可避免要考虑全球互联的问题,全球互联的架构与私有架构的不同需要充分照顾到。

媒体服务
2.1 媒体服务基础能力


首先从三大能力中的媒体服务能力谈起,融云团队一般都称之为“三无服务”,“三无”是指一个媒体服务对其他的服务没有依赖,其他的服务对这个媒体服务自身也没有依赖,并且每个服务没有任何中心化的配置。根据工作中的经验,无论是在公有云、私有云还是混合云环境中,会面临要部署的环境和客户端的环境都非常复杂的情况,比如用户会在防火墙后或者服务器本身就在防火墙里面,遇到这些情况,融云采用端口收敛的方式进行通信的策略控制,这都是需要在设计之初就做到的事情。

另外融云还实现了两个实时通信场景,第一个场景是绝大多基础音视频厂商都能做到的二人 P2P 会话,第二个场景是多人视频会议,在这个场景中人数一般会在十人以上。随着业务的发展,大家都能感觉到一个技术趋势:用 WebRTC 的方式做直播,传统的直播是将客户端的流在服务端处理之后推给 CDN,最后由 CDN 进行分发,这样做的好处是利用 CDN 的基础架构可以实现大规模用户在一个房间收看直播,这是 CDN 技术特点所带来的优势,但同时 CDN 也存在着一些问题,比如首屏开屏的速度过慢,当然目前针对这个问题也有着各式各样的解决方案。有些客户在这基础上就会提出能否使用 WebRTC 来实现直播场景,业内也称这种方案为低延迟直播,由于延迟比较低,在直播中的互动也会更加友好。

2.2 信令服务与媒体服务


关于信令服务和媒体服务的关系,绝大多数的厂商信令服务和媒体服务都是在一起的,融云的设计理念强调要解耦,使得部署和维护都更简单,因此信令服务和媒体服务之间也需要解耦和无依赖,信令服务与媒体服务之间原本存在的状态同步也要解开,而且融云本身就有特别健壮的信令服务,因此可以复用融云的 IM 通道,融云本身在这方面的投入也相当大。


上图是信令服务与媒体服务的简单架构,每一个媒体服务都与信令服务相关,相关性的目的是让彼此清楚各自的状态,这个设计模式的特点是客户端与信令服务通信,通信结束之后可以与媒体服务通信,而媒体服务之间的对接不受影响。

2.3 实时通信发布/订阅过程解析


上图是为了实现解耦引入的实时通信发布/订阅的模型,当 Client A 要与 Client B 进行会话时,第一步是进行发布,首先用 Client 调用 IM Server,提交加入房间/通话申请,调用信令服务的目的是拿 Token 返回,Token 中包括之后整个订阅/发布功能所需要的关键数据,拿到这些 Token 之后去调用相关媒体服务的地址,传统的设计通常是找信令服务,在分析 IP 地址库之后指到媒体服务,由于我们需要做到解耦,因此在 Token 调用媒体服务后会给出一个返回值,返回值是 IP 地址和 Domain。返回 Client 之后就可以拿到 IP 的信息,连到媒体服务开始与 Client B 通信,通信的过程完全是依靠长链接的信令服务通道来进行的,Client A 将它得到的 Domain 信息发送给 Client B,此时发送阶段工作结束。发送阶段结束之后由 Client B 来执行订阅工作,Client B 会找到离它比较近的信令服务,调用媒体服务接口连到 Client A 连接的媒体服务,这就是完整的发布/订阅模式。

2.4 媒体服务对客户端接口设计


对于媒体服务对客户端接口的设计,只需要提供发布/取消发布流、SFU 订阅/取消订阅和 MCU 订阅/取消订阅的接口,就可以完成解耦过程,整个通信的过程也可以建立起来。

能力服务
3.1 能力服务分类


本身正常的一对一、多对多通信完全可以通过媒体服务就可以实现,融云最初上线的版本也是基于媒体服务去实现通信需求。后续客户和业务产生了新的需求,比如在 AB 通讯时需要录像、对音视频的审核以及 WebRTC 实现低延迟直播等,融云将这些需求统称为能力服务。

3.2 能力服务设计原则


能力服务一样也有设计原则,首先,需要与媒体服务或信令服务解耦、无依赖;第二,无中央配置,无需通过配置来控制能力服务的功能和逻辑,而是通过接口和调用关系来控制;第三,结构简单,能够实现低成本运维;第四,能力服务可利用现有的网络能力。

3.3 媒体服务对接能力服务过程


通过上图来解释媒体服务对接能力服务过程中的逻辑,与发布/订阅模块相同,都是用 Client 调用 IM Server,调用信令服务拿 Token 返回,Token 可以直接生成一个 Hash 值,可以将 Token 理解为一个字符串,将想要的数据通过加密算法封到 Token字符串里,比如“host@clusterld”,“config”,Token 返回 Client 之后还是寻找媒体服务,在连接另外一个媒体服务做通信时接入能力服务,由发起方提供能力服务的内容。

3.4 媒体服务对能力服务接口设计


媒体服务对能力服务接口设计分为申请推流/接受推流申请和推出推流/接受推流推出两种。

服务集群
4.1 服务集群设计原则


关于服务集群的设计理念,首先还是贯穿始终的结构简单、易于维护,其次是可低成本构建集群以及可快速的扩缩容。

4.2 媒体服务集群框架


整个媒体服务集群的架构如上图所示,其中每台媒体服务器应该有自己独立向外暴露的 IP 地址,用于进行 RTC 相关的通讯。媒体服务现在有两个角色,一个是用于 RTC 相关的通讯,另外每个媒体服务器现在有自己 HTTP 的接口,用负载均衡和反向代理来控制这些 HTTP 接口的调用,通过反向代理实现规则调度。

4.3 服务集群实现


媒体服务集群还实现了实时通信单中心间媒体服务零调用,直播模式单中心理论上支持无限扩容以及通过代理层的控制实现无业务中断的更新。

4.4 MCU 能力服务集群


MCU 能力服务集群与媒体服务集群逻辑相同。

4.5 集群概况


在没有能力服务的情况下,上半部分就是融云标准的数据中心模型,引入能力服务后,需要复用媒体服务集群现有的基础设施,所有的能力服务就会与媒体服务部署在一起,但实际上由于架构实现解耦,比较灵活,并不需要物理上部署在一起。

服务网络
5.1 全球网络设计原则


融云在做 IM 的时候对于全球网络设计有非常丰富的经验,通过多年来在全球覆盖地区 IM 网络和基础数据的收集,基本可以了解全球各个地区的实时网络变化情况。在这过程中团队总结出任何物理的优化都不是特别稳定,因此全球网络的设计理念就包括客户端就近接入,多链路选择,数据中心间同源音视频只有一路级联,利用IaaS能力进行中心间级联链路的优化。

5.2 跨国级联示意图


跨国级联示意

5.3 全球网络的工作


另外,融云在全球网络中还做了一些工作,比如 DoH 刚在2018年9月变成RFC 的标准,主要解决 DNS 中间人劫持问题,根据融云这么多年业务开发经验来看,很多连接问题最终发现都是由 DNS 劫持导致的。另外在引入 SmartDNS 时会遇到 LocalDNS 缓存不准的问题,这些都会导致最终分配的就近地址不是真正的就近地址。融云目前的工作模式是将三者结合起来使用,在引入 SmartDNS 技术的同时引入 BGP Anycast 运营商技术来解决最近地址问题,通过这三层技术最大化来保证找到用户的最近地址。另外可以在某些特殊情况下采用公网链路来做数据中心之间的级联通信,绝大多数厂商碍于成本的考虑也采取了这样的方法,但公网存在某些特殊情况不稳定的问题,因此需要有一些备用链路,甚至在一些特殊的国家地区做物理链路优化,融云 IM 在全球的基础网络设施投入很大成本,也收获了很可观的成绩。

未来工作计划

关于融云目前正在开展的工作计划,随着业务的不断增加,按照现有的架构其实可以引入更多基于场景的能力服务,只要遵循架构模型就可以不断地引入新的模型。另外在融云的架构模式下天生支持混合云模式,由于各个服务间都是解耦的,任何私有环境下的服务都可以直接利用已经存在的公有媒体服务架构之上,对于公有媒体服务来说,只要遵循相同的发布/订阅模型就可以直接使用。

【融云分析】H.264视频编码的基本原理和过程

科技创新融云那些事 发表了文章 • 1 个评论 • 50 次浏览 • 2020-06-16 18:25 • 来自相关话题

前言:在音视频通信中,音视频的数据压缩是有效降低带宽的主要方法;其中,视频占用了更高比例的带宽,视频压缩更为重要。如果不压缩,一副 RGB 图像,按照 800 x 600 的分辨率, 每秒 25 帧的帧率, 那么:每秒的数据量 = 800 x 600 x 3 ... ...查看全部

前言:
在音视频通信中,音视频的数据压缩是有效降低带宽的主要方法;其中,视频占用了更高比例的带宽,视频压缩更为重要。

如果不压缩,一副 RGB 图像,按照 800 x 600 的分辨率, 每秒 25 帧的帧率, 那么:每秒的数据量 = 800 x 600 x 3 x 25 x 8 ( bit )。

H.264 压缩后,平均码率可以减少 20 倍;如果使用动态码率,对于某些简单场景的监控等,可以更大的压缩视频,同时保证视频质量。

视频压缩工具有很多,H.263、Mpeg-4、 VP8、VP9、 H.264 等等。目前最常见和最常用的视频压缩算法是 H.264,基于 H.264 比较流行的开源工具有 X264、OpenH264 以及 FFmpeg (内部集成 x264 和 OpenH264 ), 解码工具大多用 FFmpeg 实现。

视频编码的基本要求:

1:有足够的压缩比,能将压缩结果控制在一个范围内;

2:压缩后的视频,解压后要保证一定的视频质量。

H.264 的优势有什么呢?

1:很好的网络亲和性,更适合复杂网络传输;

2:更高的视频压缩比,在同等视频质量下;大约是H.263,Mpeg-4 的 2 倍;

3:目前移动端已经广泛支持 H.264 硬件编解码,效率和速度更快。

H.264/AVC 的常用概念:
帧和场:

视频的一帧,可以看做是一副完整的图像, 一帧视频可以分成两个隔行的场,通常叫做 “顶场” 和 “底场”。

为什么会有“场”的概念?

因为早期在电子显像管电视机中,图像是由电子逐行扫描显示的。为了更好的显示动态图像,就会先隔行扫描显示图像的 “顶场”,然后在扫描显示图像的“底场”。这样运动图像的显示效果会更好。

但是隔行扫描的实际效果是模糊了图像。目前随着科技的发展,在视频编码中,通常直接用一副完整的图像。

档次和级:

(1)基本档次:基于 I 帧 和 P 帧 ,支持 CAVLC 编码;适合视频会议,视频电话,实时视频流等。

(2)主要档次:支持各行视频,增加 B 帧编码,支持 CABAC 编码。主要用于视频存储等。

(3)扩展档次:支持流之间的切换,改进误码性能;主要用于视频点播等。


YUV 4:2:0 图像:
一帧没有经过压缩的位图数据一般保存的数据是每个像素用 RGB 表示,每个颜色分别用一个字节表示。

我们这里常用的 YUV 图像指的是 YUV 4:2:0 图像,用四个亮度 Y 分量对应一对 UV 色度分量。


RGB 转换 YUV 4:2:0 的公式:

Y = 0.299R + 0.587G + 0.114*B;

U = -0.169R – 0.331G + 0.5 *B ;

V = 0.5 R – 0.419G – 0.081*B;

由此可见,RGB 图像转到 YUV 4:2:0 图像的这一过程中是有图像质量损失的。

为什么用 YUV 4:2:0 ?

首先, YUV 4:2:0 比 RGB 图像小一半。每个像素为 12 bit。

其次,早期的电视分为黑白电视和彩色电视,如果是黑白电视,那么直接播放 Y 亮度分量。

如果是彩色电视,那么就可以全部直接播放。

视频编码系统的基本结构:

视频的压缩原理与过程:
1:我们先看一幅图像:(图1)


这幅图像中,大部分是绿色,如果仅仅将小球保留,绿色用一个变量和坐标表示,那么这幅图像的信息就可以很好的减少,也可以根据变量和坐标恢复图像。

2:再看一副图像:(图2)


这幅图像的小球,向右上角移动了一格,其它内容和信息都与上图基本一致;

如果已经有了“图1”, 那么只需要将“图2”与“图1”中的不同信息保存下来,那么就可以根据“差别信息”参考“图1” 来恢复显示“图2” 了。

这就是视频压缩的本质和原理:

空域压缩;

时域压缩。

GOP:
我们可以按照一定的图像数量进行编码,如 25 帧图像为一组,每组的第一帧图像通过帧内编码,我们称之为 IDR 帧,其它图像参考其它图像的信息进行编码,我们称之为 P 帧 / B 帧,那么可以将这一组数据一个 GOP。

如果一个 GOP 的第一帧图像 IDR 帧丢失或者损坏,那么这个 GOP 后面的所有视频数据将会解码错误。只有等到下一个 GOP,当解码器遇到 IDR 帧会即时刷新图像,清空参考图像列表。


宏块:
H.264 编码的最小单位,我们可以看做是一个宏块,就是一个 16 x 16 的图像区域,也可以划分的更小,如 8 x 8。

什么是预测编码?
在视频压缩中,就是将预测值与实际值作差,然后再次压缩。

帧内预测:

IDR帧 ,I 帧:
帧内编码就是当前帧不参考其它帧,可以独立解码的一种编码方式;

可以简单的想象为,一副 BMP 图像压缩为一副 JPEG 图像;

通常帧内编码的图像,我们称之为 I 帧 intra picture,就是不需要参考其它图像,可以自己独立解码出图像的视频数据帧。

需要注意的是:IDR 帧是 I 帧,但是 I 帧不是 IDR 帧。IDR 帧是一个 GOP 的第一帧,GOP 中间有可能出现 I 帧,后面的帧有可能参考 I 帧之前的视频帧,但是不可能越过 IDR帧。一般 IDR 帧 前面还有 SPS 和 PPS 信息。

在帧内编码中,宏块最多可以有九种预测模式,我们可以找到与原图最相近的预测图像:


帧间预测:
帧间预测技术分为 B 帧预测和 P 帧预测。

B 帧预测 – 双向预测:
主要是参考之前编码的帧和之后编码的帧;

B 帧的数据量更小,但是 B 帧由于需要参考后续帧,那么就会引入延时;

同时用到更多的计算开销;

B 帧不会作为参考帧,所以,丢弃 B 帧也不会引起花屏;如上面的“GOP 图“。

P 帧预测 – 单向预测:
主要参考之前编码过的视频帧;

后面为了清晰说明原理,以 BaseLine 为示例基础,仅包含 I 帧 和 P 帧;

运动矢量:
如:“图1”的小球位置坐标假设为(x0,y0), “图2”的小球位置坐标假设为(x1,y1),那么小球的运动矢量就是(x1 – x0,y1 – y0);

运动估计:
得到运动矢量的过程就是运动估计;


将预测数据和实际数据相减,去掉时域上的数据冗余,就得到了预测的“残差”数据,也就是补偿数据;

解码视频数据,可以根据补偿数据,运动矢量和参考图像恢复出当前图像。

这一步极大的减少了时间域上的图像冗余数据。

DCT – 离散余弦变化 :
这是一个复杂的数学名词,简单描述,就是去除像素间的相关性;

目的当然是进一步压缩数据。

举个例子:


更多的情况可能是图中情况,即便是这样,有效数据也更好的减少了,多了很多 “0” :


量化:
量化过程在不降低视觉效果的前提下减少图像的编码长度,减少图像信息中视觉恢复中不必要的信息。

量化结果,实际上是由量化步长决定的 (QStep),量化步长越小,图像的细节信息保留的越多,码率越高,图像质量越高。反之,量化步长值越大,图像质量越差。

量化是有损压缩,这一步的图像质量有一定的损失。但是前提是不影响正常的视觉和图像质量。

zig-zag 扫描 ,也有人称之为”锯齿扫描” :


zig-zag 扫描和 FFmpeg 官方标志

游程编码 – (RLC, Run Length Coding):
又称“运行长度编码”或“行程编码”,是一种统计编码,是一种无损压缩的编码方式。

其实锯齿扫描和游程编码可以看做是一体的。

游程编码进一步压缩保存了有效的保存扫描数据。

熵编码:
利用信源的统计特性进行码率压缩的编码称之为“熵编码”,也叫统计编码。

从名称来看,还是要压缩数据;这一步是无损压缩。基本原理就是给高频率数据短码,低频率数据长码。

从定义来看,就是指定一组数据中,根据数据出现概率来编码的一种方式。

在 H.264 中,也就是之前提到过的 CABAC 编码 和 CAVLC 编码。


本文图片部分主要来自于“百度图库”和《新一代视频编码压缩标准》。

【融云分析】弱网环境下实时音视频通信的深度优化

科技创新融云那些事 发表了文章 • 0 个评论 • 51 次浏览 • 2020-06-16 18:24 • 来自相关话题

5G 时代即将到来,这无疑将为移动网络带来巨大的容量升级和性能升级,高网速、低延迟、万物互连的特点,使得许多受制于网络的场景问题能够得到有效的解决,为全方位的物联网接入提供了基础设施上的支持。但在现阶段,网络状况并非一直处于理想状态,运营商之间的互通限制以及网... ...查看全部

5G 时代即将到来,这无疑将为移动网络带来巨大的容量升级和性能升级,高网速、低延迟、万物互连的特点,使得许多受制于网络的场景问题能够得到有效的解决,为全方位的物联网接入提供了基础设施上的支持。但在现阶段,网络状况并非一直处于理想状态,运营商之间的互通限制以及网络信号弱,链路不稳定等,时常会造成音视频通信延时和丢包的问题。如何在弱网环境下给予用户优质的音视频体验,是非常具有挑战性的。本文将从音视频用户体验的指标来介绍音视频相关知识,并详解如何优化网络延时和丢包问题。

实时音视频的用户体验指标

1、低延时:

实时音视频的要求是延时越低越好,如果端到端的延时超过 400ms ,用户就会有明显感知。

2、流畅度:

在实时音视频的场景下,通话双方接收到的音视频流畅平稳,不会出现卡顿、突然变快变慢等情况,这对于用户体验来说非常重要。

3、清晰度:

随着网络带宽的提高,用户对视频清晰度的要求越来越高,720P 和 1080P 开始慢慢普及。

4、连接建立及首帧时间:

用户在音视频通话过程中,连接建立和接通后接收到首帧画面的时间越短,用户的体验就越好。

延时和丢包是实时音视频影响用户体验的主要问题,延迟主要存在以下几个步骤:


1、客户端处理的延时

设备端上的延时:包括采集端采集、预处理、编码等方面,还有接收到之后的解码,处理、渲染等方面,都会有时间上的损耗,这些损耗的长短主要与硬件性能、采用的编解码算法等因素有关,设备端上的延时可达到 30~200ms,通常在 Windows 和 iOS 设备端上会小于 20ms,在 Android 设备端上可能会很长。

2、网络传输的延时

网络传输的延时主要集中在用户设备到服务器以及服务器与服务器之间的传输过程中,网络之间的传输不仅只是随着物理距离的增长而加大,也会因为跨区域或者跨运营商的传输而加大,尤其是在国内有很多中小运营商,会形成更为复杂的网络环境,那么延时会更高,通常在一个国家内部应该小于 50ms,国家之间可能大于 100ms。

3、抖动缓冲区

如果网络抖动比较严重,如3G、 Wi-Fi环境不稳定,数据包的rtt值不均衡往往会导致语音卡顿,丢字等现象,jitter buffer 模块通过缓存一段数据包,把数据包重排并均匀地传输给播放端,这样会增大端到端的延时。

如何优化延时?

1、客户端的优化

主要从编解码器算法优化、编解码参数调整和网络策略方面做调整。

a、编解码器算法优化可以通过提高编解码的压缩率,来减少带宽的延迟。

b、编解码参数调整是一个相对需要适配的过程,在不造成卡顿的基础上尽可能的调低延迟,比如:减小 Gop(减小视频关键帧的频率)、降低分辨率、减少 qp(压缩比)等。

2、网络传输的优化

融云在全球部署了多个数据中心,拥有数千个加速节点,搭建起了一张覆盖全球 233 个国家和地区的全球通信加速网络,互联网络达到专线品质,传输更安全、高效。这也为客户扫清了空间阻碍,让全球范围内的融云客户能享用稳定高效的实时音视频服务,用户就近接入数据中心,直接通过专线级联的方式来减少网络传输造成的延迟。

3、动态调整缓冲区

通过动态调整 JitterBuffer 在延时及抖动中找平衡,一个好的 JitterBuffer 应该是可以根据网络状况动态调整大小,网络状况比较好的时候,应该减少缓存大小,减小端到端的延迟。


融云实时音视频· 抗弱网 高流畅
移动网络时代的丢包现状

按照前文图中所示:通常一个用户 A 与用户 B 之间的通讯过程,是用户 A 设备通过网络连接到服务器,然后服务器与服务器进行直接通信,最后服务器再连接到用户 B。这里共有三个阶段,每个阶段都有可能造成丢包,如果再涉及到跨国的通信,那么就会出现非常高的丢包率。

当网络丢包严重时,音质会变差,画面帧速会下降,甚至出现卡顿。

如何优化丢包?

WebRTC 主要通过 FEC 和 NACK 来对抗网络丢包的情况:

前向纠错 FEC:主要通过数据包的冗余发送机制,这样当 A 数据包丢失时,可以用 B 数据包的冗余数据恢复 A 数据包,达到抗丢包的效果,但是增大了数据传输的带宽。
丢包重传 NACK:当接收方检测到 RTP 包有连续丢包情况时,它会发重传请求,发送方会重发这些数据,但不是所有情况下出现的丢包都会重传,如果网络延迟很高,就不适用 NACK 机制,因为这样会造成缓存过大,增大延迟,有些情况下我们可以通过请求关键帧的方式,来解析出图像,替代数据包的丢失重传。
针对 H.264 谷歌并不推荐同时使用 FEC 和 NACK, 因为 H.264 会判断丢失的数据包是不是关键帧或 P 帧,如果丢失的是一些 FEC 的冗余数据,这时候没必要发起丢包重传,所以综上所述,如何在丢包和延迟的网络环境下提供更好的用户体验,我们会通过判断丢包率和延迟的大小,来决定如何应对丢包,如果网络延迟很高,我们会采用 FEC 来处理,而如果网络延迟很低,则会采用 NACK 的方案。

除了以上方案,在对抗丢包还有 ARC 和 ARQ 等方案,但是每种方案都有自己的优缺点,如何能够在弱网下提供更好的用户体验,需要我们通过监测当前网络的状况,动态的选择优化策略,在不同方案直接寻找平衡。

3分钟融云 Demo 体验:RTC 实时音视频篇

WebRTC融云那些事 发表了文章 • 0 个评论 • 109 次浏览 • 2020-06-16 18:22 • 来自相关话题

2019年,融云发布了全新的实时音视频 RTC 3.0 版,以更高的技术稳定性、通信质量与灵活性,适应不同业务场景下一对一、多对多的实时音视频通信需求,为广大企业和开发者提供一个适配新通讯时代的选择。为了帮助开发者们快速掌握 RTC SDK 的接入方式,融云推... ...查看全部

2019年,融云发布了全新的实时音视频 RTC 3.0 版,以更高的技术稳定性、通信质量与灵活性,适应不同业务场景下一对一、多对多的实时音视频通信需求,为广大企业和开发者提供一个适配新通讯时代的选择。

为了帮助开发者们快速掌握 RTC SDK 的接入方式,融云推出了一款 Demo——SealRTC。SealRTC 是基于融云实时音视频 RTCLib SDK的最新版本开发实现的,可以进行实时音视频通话体验,主要用于验证 RTCLib SDK 的功能实践,为开发者提供集成参考,其功能包括:身份验证、音视频会议、双人和多人音视频通话、大小流切换等。

1、Demo 下载

这里我们以移动版 SealRTC 举例实操演示,此外融云官网还提供Web 端的在线体验,大家可以登录融云官网了解更多产品特性。


2、Demo 体验

①首先打开 SealRTC,通过输入房间号模式进行实时音视频通话体验,需要通过手机号来验证身份。


②开始音视频通话前,可以先对视频分辨率、美颜效果等基础属性进行设置。


可能有部分开发者朋友对于“大小流”这一概念比较陌生。这其实是一种视频带宽节省技术,音视频通话开启后不必获取参会人完整的视频流,而是通过小视频流来进行展现。举个例子,大小流类似于我们生活中常见的照片缩略图,这样即使在网络状况不佳的情况下也可以进行流畅的视频交流。

③通过验证并设置好基础属性后,即可进入音视频通话页面。


在屏幕右侧,增加了多个功能按钮,包括开启音乐和小视频、切换前后摄像头、使用互动白板等功能。在开启小视频后,左上角会出现小视频窗口,点击即可进行大小屏的切换。当结束通话时,点击最下方的红色电话标志,即可退出音视频会议。

结语:

作为全球互联网通信云领域的领跑者,融云在实时音视频市场拥有多年研发经验,各项技术指标保持市场领先水平,如提供一对一、多对多音视频通话能力,视频支持分辨率1080P高清画质,音频可对抗70%丢包,视频可对抗30%丢包,音视频延时最低可达66ms等等。目前,对于使用融云 RTC 3.0 及以上版本的开发者,融云不仅免收月功能费,现在每月还免费赠送 20,000 分钟通话时长。

当然,SealRTC 仅提供了最基础的音视频通话服务,如果大家想要在应用中集成更完善的实时音视频功能,请登录官网注册融云,下载 RTC SDK 来体验更丰富的产品功能吧。

VR看房实时互动 融云助力丽兹行构建云上销售模式

科技创新融云那些事 发表了文章 • 0 个评论 • 48 次浏览 • 2020-06-16 18:21 • 来自相关话题

突如其来的疫情改变了人们日常生活的轨迹,也在无形中培养和改变了诸多的新型消费习惯。据国泰君安证券研究所近期推出的一份消费洞察报告《疫情重塑消费习惯》指出:疫情导致人们户外活动大幅减少,很多消费场景“被迫”转移至线上,为传统消费行业带来转型机遇。在线教育、在线办... ...查看全部

突如其来的疫情改变了人们日常生活的轨迹,也在无形中培养和改变了诸多的新型消费习惯。

据国泰君安证券研究所近期推出的一份消费洞察报告《疫情重塑消费习惯》指出:疫情导致人们户外活动大幅减少,很多消费场景“被迫”转移至线上,为传统消费行业带来转型机遇。在线教育、在线办公、在线医疗、在线娱乐甚至在线卖房、卖车等,过去几年大量资本和企业投资也未能教育成熟的一些市场,反而被一朝催熟。

最具代表性的就是受疫情冲击严重的房地产行业。尽管随着疫情形势的向好,逐步放松了线下看房的限制,但考虑到繁琐的线下流程可能带来的健康风险,线上看房依然是目前特殊时期的最佳选择。

这段时间里,一些由房产开发商和房产电商平台开发的“线上售楼处”迅速上线,例如知名的高端房地产服务平台丽兹行,就在疫情期间全面上线了 VR 看房功能,不仅将房源更真实、更清晰地展现在消费者面前,让消费者无需在现场也能身临其境,还有置业顾问随时讲解,实时答疑,减少消费者的决策时间和成本,提升房源销售效率。


丽兹行 VR 线上看房活动
VR 沉浸式展示房源信息

相较于传统的线下带看服务,VR 线上看房的主要优势不仅在于能够克服地域限制,避免防疫期间线下带看的诸多不便,更多是给消费者和房地产平台带来实际意义上的帮助。

首先,对于消费者而言,VR 看房能够更为直观地获取数据。通过丽兹行的 VR 看房服务,系统会将房屋相关数据进行准确地标示,比如进行房间的高度、宽度、长度等数据的展示,还有朝向、距离等信息都可以直观地展现,这就有助于看房者获得更为精准的资料,为购房决策提供帮助。

而对于平台而言,减少了样板房和线下带看服务的高额成本。通过 3D 实景克隆技术,快速对大场景进行三维重建,实现空间 1:1 大小,100% 真实还原。然后通过 VR 场景向消费者全面地展示,让标尺数据、标签信息、空间信息在 VR 场景中一目了然,给消费者带来沉浸式的空间漫游。

实时互动助力房源成交

其实,单纯的通过 VR 全景来查看房源信息,这一功能在很多平台都早已实现。但丽兹行最大的特点是对房产进行 VR 展示的同时,还提供了 VR 直播带看服务,置业顾问可以带领消费者自由地在房屋中漫游、观看,如同线下看房一样进行全方位的一对一讲解。

最关键的一点,丽兹行借助融云 IM 和音视频服务,让置业顾问与消费者之间实现了实时的互动。置业顾问可以根据客户的需求随时调整讲解的进度和内容,在置业顾问讲解的同时,客户可以针对自己关心的问题进行提问,置业顾问进行实时语音答疑。通过双向交流,这个过程变成了置业顾问与消费者共同筛选房源,置业顾问能更精准的把握客户真实的核心需求,从而在信息讲解和推荐时才能做到有的放矢,进而缩短成交周期。除了 VR 带看的实时讲解和答疑,消费者还可以在丽兹行 VR 看房界面一键唤起置业顾问电话或者一键进入微聊场景,与置业顾问随时交流沟通。


丽兹行 VR 带看实时互动
自疫情爆发以来,房地产行业整体形势惨淡,但丽兹行仍借助 VR 看房等新型服务手段保持着业务的稳定发展。根据丽兹行豪宅研究院最新报告指出,2020 年 3 月以来成交已经开始呈复苏趋势,疫情结束后预计市场成交量回暖速度将会加快。融云也将继续通过先进的 IM 和实时音视频技术,助力丽兹行在服务模式上探索与创新,为房地产企业和平台快速构建实时沟通交流的互动场景,帮助平台服务好消费者,不断提升房源成交效率。

不仅仅是房地产服务市场,融云作为国内领先的互联网通信云服务商,一直致力于为教育、医疗、社交、电商、直播、金融等不同行业和场景提供通信能力的解决方案。值得一提的是,为了更好地助力各行业在疫情期间实现高效的复工复产,拓展新的发展机遇,融云在日前还特别推出了“199 元 IM 商用版首购专享”活动,希望以通信云技术赋能各行业,助力全行业业务回暖。此次活动针对全体开发者,无论是个人用户还是企业用户,只要新注册并充值 199 元即可获得价值 1500 元/月的IM商用版服务,限量 1000 个名额,购完即止,先到先得!

融云亮相2019音视频技术大会 深度解析 WebRTC 服务架构设计

WebRTC融云那些事 发表了文章 • 0 个评论 • 50 次浏览 • 2020-06-16 18:21 • 来自相关话题

“基于 WebRTC 的低延迟直播将会是未来直播行业的主流解决方案!”这是融云联合创始人兼CTO杨攀在 LiveVideoStackCon 2019 音视频技术大会上对于未来行业趋势的判断。2019年8月23 – 24日,LiveVideoStackCon 音... ...查看全部

“基于 WebRTC 的低延迟直播将会是未来直播行业的主流解决方案!”这是融云联合创始人兼CTO杨攀在 LiveVideoStackCon 2019 音视频技术大会上对于未来行业趋势的判断。

2019年8月23 – 24日,LiveVideoStackCon 音视频技术大会在北京举办,本届大会以“多媒体技术赋能新世界”为主题,聚焦音视频、图像等技术在全行业领域的最新探索与应用实践。融云联合创始人兼 CTO 杨攀应邀参会并发表了题为《可扩展的公有云媒体服务设计解析》的精彩演讲。


融云联合创始人兼 CTO 杨攀
在演讲中,杨攀向参会者介绍了融云 WebRTC 在服务端架构设计上的基本理念和思路,并将融云 WebRTC 的设计理念归纳为四点:复用 IM 消息通道;核心服务专注通信、能力服务专注业务;全球互联;部署简单、方便运维。同时在演讲中,杨攀还详细介绍了媒体服务和能力服务相关的架构设计、数据中心内服务集群的设计理念及遍布全球的服务网络。

杨攀在演讲中表示:“融云架构设计的核心理念就是解耦,让各项功能各司其职,避免互相依赖,这样就可以做到简单方便的部署和运维,让故障问题的排查更加方便,极大地降低企业的管理成本和运维成本。”而另一个核心理念是“全球互联”,融云为此专门构建了一张全球通信网络。


融云CTO杨攀解析媒体服务的架构设计
对于融云的媒体服务,杨攀在现场风趣地将其形容为“三无服务”。何谓“三无”?第一个“无”是媒体服务对其他媒体服务无依赖,第二个“无”是其他媒体服务对媒体服务自身无依赖,第三个“无”是每一个媒体服务自身无中心化配置。杨攀表示,这样“三无”化设计的目的同样是为了让系统足够简单易用,方便全球化的部署和运维。

在能力服务层面,杨攀表示,“解耦”作为核心设计理念贯穿在能力服务的设计中。首先是与媒体服务或信令服务解耦,不形成依赖关系,保持独立的架构设计。其次,不靠中央配置控制任何功能,而是通过接口和数据形成调用关系来实现。目前,融云可以为客户提供音视频混流、音视频审核、云端录像、视频标注等多样化的能力。


融云全球网络设计原则
在演讲的最后,杨攀就融云的全球网络设计原则进行了解析。他表示,当前全球网络环境仍亟待提升,特别是在国外,跨区域、跨运营商很容易导致音视频的延时和丢包,在这种客观的现实条件下,对于企业的全球通信能力提出了更高的要求。杨攀表示,融云在全球网络设计上有三个原则:一、客户端就近接入,多链路选择;二、数据中心间同源音视频只有一路级联;三、利用 IaaS 能力,进行中心间级联链路的优化。

目前,融云在全球设立了多个数据中心,并拥有数千个加速节点,覆盖全球所有国家及地区(共 233 个),构建起了一张安全、可靠、低延时、高并发的全球通信网。通过遍布全球的优质接入点,结合融云自研的最优链路调度算法,可将消息快速分发给终端用户,解决因跨国、跨运营商、大规模用户访问而导致的响应慢、丢包高、服务不稳定等问题。


参与嘉宾在融云展位交流
在本次大会上,杨攀将融云在 WebRTC 领域的架构设计理念和思路分享给所有参会者,旨在与业内技术人员进行思维上的交流、启发和碰撞,不断开拓视野、拓宽思路,与全球开发者一道加速音视频领域的创新发展。除了精彩的干货分享外,融云还在大会现场设立了服务展台,大屏实时播放融云产品的 Demo 视频,并由工作人员在现场向感兴趣的参会者介绍融云的产品和技术服务能力。

【关于融云】

融云,安全、可靠的全球互联网通信云服务商,向开发者和企业提供即时通讯和实时音视频通信云服务。iResearch 艾瑞权威数据报告显示,融云即时通讯云市场份额连续多年稳居头位。

融云构建了一张覆盖全球所有国家及地区(共 233 个)的通信云网络,在全球各地设立多个数据中心及数千个加速节点。基于客户业务需求,融云可提供多种部署模式——公有云、私有云、混合云,为全球企业提供稳定的互联网通信云服务。针对企业级用户,融云将业务垂直到各个行业,为社交、直播、金融、交通运输、教育、电商、医疗等多个行业领域推出了针对性解决方案。

融云基于海量业务的技术锤炼,从基础架构到精细化运营,充分体现平台实力;凭借卓越的产品和优质的服务,在开发者规模、行业覆盖率、平台日活跃用户数、日均消息量等方面超越全行业。目前,已有数十万互联网用户及上千家企业级用户通过融云实现了场景化沟通。

站在Z时代社交风口 融云打造语音聊天室新模式

科技创新融云那些事 发表了文章 • 0 个评论 • 36 次浏览 • 2020-06-16 18:17 • 来自相关话题

谁也没想到,2019年第一个风口竟然来的如此高调。2019年1月,排名App Store榜首既不是微信、支付宝这些传统大牌,也不是抖音、拼多多这样的互联网新贵,而是一款主打语音社交的App成功登顶。在随后的几个月时间里,更是有多款主打语音元素的App闯入App... ...查看全部

谁也没想到,2019年第一个风口竟然来的如此高调。

2019年1月,排名App Store榜首既不是微信、支付宝这些传统大牌,也不是抖音、拼多多这样的互联网新贵,而是一款主打语音社交的App成功登顶。在随后的几个月时间里,更是有多款主打语音元素的App闯入App Store排行榜,语音化的社交娱乐进入行业爆发期。而这一爆发其实早有迹象,无论是近几年兴起的狼人杀游戏,还是在火爆全球的吃鸡游戏中开黑,都离不开语音聊天功能的支持。据媒体数据统计,目前已有超过6000万用户使用语音作为网络社交的方式。

在高速增长的市场趋势下,如何才能更好地吸引和留存更多用户?这也对社交娱乐App的创新能力、语音服务能力和通信技术能力提出了更高的要求。作为互联网通信云行业的领头羊,融云推出全新的语音聊天室解决方案,针对语音社交服务的多种应用场景,在技术层面实现了模式和功能上的优化配置,满足行业客户在应用内快速实现多种语音聊天玩法的需求。

Z时代的社交需求 引爆语音娱乐市场

根据红杉中国发布的《00后泛娱乐消费报告》显示,在形容00后人群特征时,“扩列”需求旺盛,被放在了第一条,所谓的“扩列”也就是请求扩充好友列表,等同于交新朋友的意思。“孤独与自由并存,拥有多个社交应用,且每天花费超过1小时在社交应用上,喜欢互动体验强的设计。”


有行业人士指出:“在文字、视频、声音三种媒介中,声音门槛最低、说话几乎不需要任何成本,文字需要组织语言、视频有基于外貌的压力,而说话是大家现实生活中对外接触、交流使用最多的形式,这决定了连麦符合大部分人的准入门槛。”以声音这种更方便、亲近的交流方式能传递的信息比文字更多,语音、语气、语调甚至停顿长短都能反应一个人的情绪变化,不少年轻用户看来,声音可以让自己更贴切地感知到对方的存在。

这些闯入App Store排行榜的语音社交娱乐App恰恰击中了新青年好奇又孤独的性格特征,以声音为媒介切入社交娱乐领域,并迅速进入95后乃至00后的世界。95后的一代往往也被称作Z世代,这群和智能手机同时成长起来的用户,对新产品的接纳度更高,也代表着未来移动互联网的流量方向。

打造语音娱乐空间 不断扩展服务场景

语音社交领域持续火爆,融云在服务社交、游戏、直播等行业客户的过程中,也在不断推动着IM、实时音视频技术与行业应用场景深度结合,在深入了解客户需求后,融云语音聊天室解决方案针对不同场景进行了技术和服务体验上的双重优化,目前融云可以支持娱乐聊天室、在线KTV、连麦开黑、多人相亲、热歌接唱、陪伴房等多种娱乐应用场景。

①娱乐聊天室

6–8人频道,用户自由上麦发言,支持观众围观。用声音做桥梁,满足那些“声音控”的用户,提供靠声音不靠颜值的社交方式。

②在线KTV

用户可在线点歌,体验独唱、对唱、合唱等多种模式,让你随时随地拥有身临其境般的KTV包房享受。

③连麦开黑

可自由创建房间,和小伙伴们一起连麦玩游戏,不用退出游戏也能通过语音完成实时同步交流。

④多人相亲

主持人可对麦位进行性别限制,多位嘉宾可同时语音连线,轮流自我介绍,浪漫告白,还可以为心仪的嘉宾赠送礼物。

⑤热歌接唱

随机播放歌曲,6-8人通过随机分配或邀请进入房间,可通过抢麦接唱。接唱者可选择演唱时打开自己的摄像头,向大家展示演唱时的个人影像。

⑥陪伴房

两人语音连线,陪他聊天、听音乐、看电影。为情侣、异地恋、单身求陪伴的用户提供更私密的空间。


以最常见的娱乐聊天室为例,房主创建语音聊天室房间后,可以设置上麦、下麦、抢麦、轮麦、抱麦、禁麦、跳麦等多种麦位管理方式,用户加入到语音聊天室后只可以收听,可选择上麦或被房主抱麦,成为连麦者,获得发言权限。房间可以支持8位连麦者自由上麦发言,连麦者可以随意更改到其他空的麦位上,即跳麦,也可以选择下麦变成观众。直播间可支持上万名观众同时在线,观众和连麦者的身份可以随时切换,满足娱乐、K歌、游戏、相亲等不同场景。

融云通信技术革新 升级用户社交体验

根据36氪研究院最新发布的《社交行业研究报告》显示,技术变革为社交带来了全新的展现形式,过去的社交形式主要是以图文为主,现在音视频形式的社交平台则更能快速吸引用户、黏住用户,社交平台正在借助先进的技术手段来实现社交的垂直化、兴趣化、个性化和娱乐化,这一方面源自4G和5G网络环境的迭代优化,另一方面则是得益于通信技术的革新,帮助社交平台更好地将服务全方位融入应用场景中,全面升级用户的社交体验。


①高效极简的信令通道 保障通信稳定

实验证明,当通信延时大于300ms时,在用户端就会明显感受到语音通话质量的降低。为了满足客户对于语音聊天室稳定的需求,融云打造了专为实时音视频场景设计的信令通道,来保证复杂网络环境下的语音通话的连通率和稳定性,目前融云可以做到延时最低可达 66 ms,最大限度降低了网络延时和网络丢包等问题。此外融云语音聊天室采用48 KHz 全频带音频编码,同时采用智能降噪技术,保障语音信息在存储和传输的过程中没有失真,让用户享受到真正的畅快欢聊体验。

②成熟的IM技术积累 稳定支持高并发

当App用户量达到一定规模后,高并发之下,应用内IM功能的稳定性将会面对前所未有的考验。融云依靠十余年 IM 技术积累,将语音聊天室解决方案打磨成熟,通过成熟的私有通信协议和完善的代码结构,实现了亿级并发的高性能、分布式的微服务方式以及集群化的部署,保证实时互动稳定流畅无卡顿。融云最高曾单日支持2218亿消息并发,稳定支持多款亿级产品。

③可靠的全球通信网络 助力App出海

随着现在国内语音社交娱乐产品越来越多,国内的竞争愈发激烈,越来越多的厂商将目光瞄准了海外。而相对于国内稳定的网络环境,App出海不仅要面对不同国家和区域参差不齐的网络质量,还要考虑到应用在海内外的消息互通。针对这些有出海需求的客户,融云构建了一张覆盖全球所有国家及地区(共233个)的通信云网络,在全球各地设立多个数据中心及数千个加速节点,融云保障随时随地均有至少3个就近节点提供接入,保障App在海外弱网环境下也能拥有稳定可靠的通信能力。

此外,融云语音聊天室解决方案向开发者们提供开源代码,接入非常简单快捷,帮助客户实现App快速上线的诉求,同时接口灵活程度高,可快速对接变声、动态表情、反垃圾、鉴黄等第三方插件,满足不同应用场景下的服务需求。

融云语音聊天室解决方案上线的同时,融云还提供了一款Demo——SealMic,方便开发者们更好地理解融云语音聊天室的功能属性和使用场景,感受多人语音互动、麦序麦位、聊天等玩法,并可以根据自己的应用来衍生出更多实用、有趣的新功能。

探寻融云多年领先的秘密:不断创新贴近开发者真实需求

科技创新segmentfault思否 发表了文章 • 0 个评论 • 52 次浏览 • 2020-06-16 18:17 • 来自相关话题

融云全名北京云中融信网络科技有限公司,是一家安全、可靠的全球互联网通信云服务商,向开发者和企业提供 IM 即时通讯和实时音视频通信云服务。经过近 6 年的发展,融云已经连续多年稳居 IM 即时通讯市场第一。目前,融云业务覆盖全球 233 个国家和地区,日活超 ... ...查看全部

融云全名北京云中融信网络科技有限公司,是一家安全、可靠的全球互联网通信云服务商,向开发者和企业提供 IM 即时通讯和实时音视频通信云服务。

经过近 6 年的发展,融云已经连续多年稳居 IM 即时通讯市场第一。目前,融云业务覆盖全球 233 个国家和地区,日活超 7 千万,SDK 触达用户 45 亿,日均消息量 150 亿,峰值的单日消息量最高 2218 亿。

即在全国的手机用户中,平均每个手机中至少有 5 款App的底层通信能力由融云赋能。从平台服务用户数量级来说,融云已跃升为继微信、QQ之后的我国第三大通信云平台,而作为PaaS服务,融云则稳居互联网通信云赛道第一。

能取得如此瞩目成绩的背后,是融云多年来在技术研发和服务领域的奋斗和努力。究竟融云在这6年的发展中做对了什么?对此我们专访了融云产品及解决方案 VP 林光柘,请他为我们讲述融云取得成功的秘密。

思否:能否请您先介绍一下主要工作经历,专注的技术研究方向,以及目前所负责的工作。

林光柘:我在 2016 年加入融云,之前有十几年的 ToB 领域工作经历,主要是在用友和致远互联的企业级服务经验。

在加入融云后依然在做企业级服务的工作,但服务的方向从 SaaS 或者说企业级软件产品更偏向了互联网产品,领域也更加细分成为客户提供专业的互联网通信云能力。目前更多是专注在 IM(Instant Messaging)、RTC(Real-time Communications)等通信能力相关的服务与通信行业的研究。

思否:融云在此次疫情防控中为社会和企业贡献哪些力量?

林光柘:因为疫情很多人无法到办公室办公,也无法到线下进行面对面交谈。促使包括远程教育、远程医疗、电商直播和企业办公会议等行业在近期有了一个井喷式发展。

融云可以看到平台上已有客户的业务量级翻了好几倍,甚至是十几倍。之前没有和融云合作的客户现在也大量的接入融云。

为了保证企业在这个关键时刻可以平稳运行,融云团队在春节期间就加班加点开始了服务工作,正式开工后无论是在家办公还是在办公室工作的同事也都非常繁忙。

为了帮助更多企业机构一起抗击疫情,融云在疫情期间还免费开放了在线医疗、在线教育及协同办公场景的通信能力,近期还成功入围“创客北京2020”疫情防控专题赛50强。

思否:疫情之下开启了哪些业务新场景?从通信云服务商的角度看以在线 VR 看房为例的 VR 业务未来会有怎么的发展?

林光柘:很多人认为即时通讯就是我给你发一个消息或者文字。但其实整个行业对即时通讯的定义已经发生了改变,现在更多的客户会把即时通讯当成是信令的控制。

VR看房是我们最近看到的一个领域,但其实在 VR 看房之前就与一些客户在新场景下进行了合作。

比如说在去年与教育行业客户合作时,就使用消息来做一些教具的同步操作。老师在控制教具的同时学生这边就会发生相应的变化,学生与学生之间传递教具也同样会实时发生变化。其实这些所有的传递过程都是用即时通讯来实现的。

融云亲历整个即时通讯行业的发展,从传统的提供发送图片、文字和语音的能力,到现在已经深入到客户的业务之中,更加模块化场景化的为客户提供服务。

说回到 VR 看房,传统的 VR 看房是客户体验一个房屋,由客户自己看就好,现在最主流的 VR 看房的逻辑已经发生改变。经纪人进入到房屋并转动手机查看房屋,客户实时同步画面信息。

其实这些所有的过程都是用 IM 来完成的。IM 帮助 VR 视频的两端进行房屋状态与位置的同步,当然观看过程中同时也发起了音视频通话,相较于传统的 VR 一对一看房,融云提供音视频支持,可以满足更多用户同时处于 VR 看房的场景之中。经纪人还可以随时讲解,实时答疑,减少消费者的决策时间和成本,提升房源销售效率。

思否:疫情之下融云为什么会被更多企业选择?融云 IM 和实时音视频两大业务线的优势有哪些?

林光柘:融云虽然不是 BAT 一样的超巨型企业,但从 2014 年成立以来一直专注于 IM 通信行业。没有做更多的业务层扩展,也拒绝跟随社会上一些所谓的风口。这样促使了融云在通信行业的专业精通。

并且我们发现融云从成立以来几乎所有的需求都来自于开发者,凡是开发者提出的通用需求,那么一定是可以被其他企业复用的,融云拥有大量的开发者需求建议。这有两点好处,一是来自开发者的意见最为贴近真实需求,二是融云保证了从成立以来快速的迭代与发展。

虽然有人可能会说 IM 这个事情非常简单,但因为一直保持着快速的版本迭代,不断有一些新的场景新的应用融入进去,让融云建立了自己强大的技术优势。

IM 和实时音视频虽然并不分家,但也并不是普通用户所认为的 IM 和实时音视频完全一样。从底层的逻辑来说 IM 和实时音视频是完全不一样的。

从技术线路与技术逻辑来看,比如呼叫、接听和操作等全部是 IM 的过程, IM 比实时音视频的稳定性要高出很多。又比如看到对方的状态,或者向对象进行一些操作也都是 IM 的过程。融云天然地把 IM 和实时音视频整合成了一个 SDK。在给客户提供完整一体化的解决方案上融云拥有天然的优势。

音视频通话至少要连的上,那么连的上靠什么保证,那就是要靠 IM 信令全部有机的结合在一起。

几乎所有的大厂都会说自己有音视频的能力,甚至包括一些 IaaS 厂商也会说自己有音视频的产品,但很少厂商会说自己有 IM 能力。

其实实时消息时序和一致性是分布式系统架构设计中非常难的问题,尤其 IM 应用这种以消息为中心的应用形态。融云是业界唯一承诺消息不丢、不重、不乱序的通信云厂商,通过消息重发补偿等机制,确保信息 100% 到达,这也促成了融云在 IM 的能力上有绝对的自信。


融云IM消息送达流程图
思否:融云的海外业务受到了什么影响?做了哪些努力来保证业务顺利进行?

林光柘:海外市场不是说我今天要干,一次性投入我今天就能干好。融云其实从 2016 年开始就协助中国的企业出海,并且一直不间断的对出海业务做持续的投入。

现在融云拥有 IM 厂商独有的海外数据中心和全球加速节点网络,都是与这么多年的持续投入分不开的,也正因为如此融云在面对疫情的时候没有任何慌乱。

海外服务到底稳不稳,不是说客户在外面找到几个测试点就能测出来的,一定要有大量的海外客户与 C 端覆盖才能进行大规模验证并给出答案。

如何保证海外业务的稳定?融云从自建全球底层通信架构和自研的最优链路调度算法给出了答案。一条消息从美国到中国,通常要经过100多跳,而通过融云的链路加速可以缩短为6跳。客户可以择优选择就近接入节点,规避复杂网络环境带来的不稳定、高延时连接问题。

思否:ZOOM深陷用户隐私泄露的困境中,融云在视频会议业务中是如何保护用户隐私数据的?涉及到什么技术?

林光柘:融云作为 PaaS 服务平台有一个整体的设计来保护用户的安全,首先融云保证绝不触碰用户数据,其次保证不触碰用户的任何业务信息。

我们最近接触到了一位新加坡客户,目前他们使用 ZOOM 来进行办公会议等业务,但最近接到相关政策通知未来不能继续使用 ZOOM。

因为融云在海外有非常好的技术储备,客户通过集成融云 SDK 直接就可以上线,不需要用户的任何信息,只需要一个特别简单的 UID(User Identification)就可以实现 IM 和实时音视频的所有场景。所以这位新加坡客户正在考虑与融云合作,当然这也是对融云的一种认可。

对融云有所了解的开发者可能知道,融云核心技术团队来自飞信,我们积累了飞信处理海量并发的经验。所以在技术选型上,融云并没有采用大家耳熟能详的 XMPP、SIP、MQTT 等通用的通讯协议,而是从成立之日起,代码层就完全从0开始做正向研发,满足移动互联网时代的开发需求。融云自研了协议名称为 EverSync 的私有通讯协议,数据在通信过程中避免了明文传输与存储,同时还具备防篡改能力和防劫包重发的能力,从而完全解除了客户对安全的后顾之忧。

也正因为我们完全符合严格的GDPR(General Data Protection Regulation),可以无障碍的为我们的客户提供全球服务,满足各个国家和地区的合规性要求。

思否:融云如何实现特殊场景下的抗弱网环境和 QPS 承载能力的高稳定性?

林光柘:在解决这个问题上没有任何捷径,我们是靠一个一个坑趟出来的。

融云的做法是研发与测试拿着笔记本去模拟,也就是实时地去各种场景测试。前年开放了飞机上的 WiFi 环境,我自己因为出差比较多,有时间的话也会在飞机等一些特殊场景下进行测试。

之前有一个客户开展了埃及的海外直播业务,开始的时候选择了一家大厂为其服务,但是发现很多场景下网络连不上。随后这个客户找到了融云,不过融云在当时也没有很好的解决这个问题。

但融云的优势就在于灵活,发现问题后,我们的研发同事直接就冲到现场,快速地沟通收集相关连接信息,通过排查发现,可以通过优化最底层协议栈的逻辑,进一步提高抗弱网的性能,来满足当地的网络环境,研发马上投入去改底层的SDK链接逻辑,给客户提供新版本的SDK上线,最终我们完美的解决了问题。

接下来讲下 QPS 承载能力高稳定性的问题,融云最开始的架构支持聊天室承载上限是 3 千人,当互联网直播业务刚起步的时候,我们就意识到直播聊天室将要井喷式发展,在 2015 年快速调整聊天室架构,很快速地上线了高并发的直播聊天室业务。

到之后可以承载十几万到几十万高并发的最大数据,甚至可以承载更大的用户数据量,曾经有客户一天传送了一千亿条消息也侧面证明了融云的能力。

业务中融云提供后端服务端实时监控,发现有过阀值的时候动态横向弹性扩容,确保稳定的同时让客户完全不会感知到压力变化。

思否:融云为了贴近开发者做了哪些努力?

林光柘:现在融云的客户端接口有近600个,服务端接口超过100个,后台可以开通的功能也有100个左右,并且都是不同的场景需要个性化开通的功能。开发者实际使用的时候 IM 的业务逻辑比实时音视频复杂,实时音视频的技术难度也相对较高,两者相辅相成又都有各自的难点。所有这些点集合在一起,如果没有明确的指导掌握起来会有些难。

开发者想要把这些接口使用好,逻辑其实就像乐高拼接积木一样,如果有清晰的说明书就会简单很多。如果只是使用乐高散件,想要去拼成一辆汽车,这个事情就会非常困难。

其实融云2014年到今年春节前的文档都还有优化的空间。为了更贴近开发者的需求,融云今年专门组建了一个文档专项团队,团队成员全部拥有两年以上的支持服务经验,他们知道用户的问题、卡点和使用场景。专项团队的成员共同配合写了一个全新的文档,方便开发者去阅读理解业务。

文档中的内容完全是以客户希望看到的场景为视角,并且我们正准备未来让所有研发都要站在开发者的角度来想问题。后续我们还会考虑会做一些新的视频或者代码片段,让开发者更加轻松。

思否:融云短期内最重要的计划是什么?

林光柘:我们依然会在 IM 和实时音视频这两大业务上持续投入,提供更加贴近场景化的解决方案,满足当下社交、直播、教育、电商、医疗、游戏等行业对通信云能力的新需求。

可以发现融云现在依然还有很多需求在排期中,作为一个拥有两百多人的团队、专注于 IM 与实时音视频业务多年的公司,不仅在业务层更贴近开发者及企业需求,我们也希望追求技术性能的持续优化,通过不断完善细分领域的技术难点为客户带来更稳定、高效的服务。


融云产品技术云图
思否:还有什么想对外界一直关注融云的朋友们说吗?

林光柘:有一部分用户可能有这样的想法:「有 QQ 和微信为什么还会有融云这样业务?」虽然都是即时通讯,但服务群体是完全不一样的,微信和 QQ 是我们手机里的应用,服务对象是 C 端用户,而融云则是 PaaS 服务,为应用提供底层的通信能力,包括像汽车之家、哈啰出行、寺库、易车、荔枝等在内的 30 多万个应用,他们的用户可以在 App 里实时交流互动。

融云现在已经成为了互联网级产品所不可分割的一部分。客户的业务系统去解决一个短链接的业务是非常容易的,但如果想大量的交互,想要不同客户端之间互联互通,甚至是说像 VR 和硬件一体化问题的解决,在这个智能物联网加 5G 时代马上到来之际,可以提供强大通信能力的融云将有更大发展空间。所以融云未来的发展非常可期,也希望大家可以持续关注融云。

融云实时音视频落地各应用场景 以 RTC+IM 双重能力服务开发者

WebRTC融云那些事 发表了文章 • 0 个评论 • 47 次浏览 • 2020-06-16 18:09 • 来自相关话题

疫情之下,在线教育、娱乐社交、电商直播等领域逆势增长,也带动了开发者们对于 IM 和 RTC 能力的需求热潮。然而对开发者来说,分别选择不同 IM 和 RTC 厂商实现通信场景,不仅降低开发效率,还会大幅增加产品上线后的运营和服务成本。为解决部分开发者的实际需... ...查看全部

疫情之下,在线教育、娱乐社交、电商直播等领域逆势增长,也带动了开发者们对于 IM 和 RTC 能力的需求热潮。然而对开发者来说,分别选择不同 IM 和 RTC 厂商实现通信场景,不仅降低开发效率,还会大幅增加产品上线后的运营和服务成本。

为解决部分开发者的实际需要,融云适时升级了实时音视频产品,并推出了“IM 即时通讯+实时音视频+推送”一体化解决方案,就是要“以一套 SDK 解决所有通信场景”,满足多场景下的高品质通信的需求,成为下一代 RTC 的创领者。

在线教育场景的 RTC 应用

在线教育中,由于不同学生群体的需求不同,催生了丰富的在线教学模式,融云实时音视频可以支持互动小班课、一对一辅导、大型互动直播课、双师课堂、音乐教学等全场景在线教学模式。

小班互动课和一对一辅导场景,重点需要保障师生上课质量体验,课堂稳定流畅不卡顿,目前融云实时音视频可以做到全球端到端延时小于 400ms,最低延迟 66ms,满足超低延时需求。同时通过融云实时音视频服务可以灵活地控制音视频流的订阅和发布,让教师端可以任意选择单个或多个学生进行课堂答疑互动;此外课堂白板作为老师上课、讲解要点的重要工具,融云可以提供互动白板及高清屏幕共享,满足师生互动的需求。


融云满足一对一辅导场景的强互动需求
大型直播互动课程和双师课堂中,主要是保证 QPS 下仍有稳定的承载能力和低延时的互动体验。融云首先采用去中心化多点分布式的全球架构,无需对接 CDN,可支持不限量学生同时在线,支持千万级并发态;其次,利用全球加速网络,多端用户实现就近节点接入,直接通过专线级联的方式来减少网络传输造成的延迟,实现师生音视频远程连麦互动的低延时体验。


融云支持无成员上限的互动直播聊天室
在较为特殊的音乐教学场景,尤其需要高清音乐模式,针对器乐的高频音段和弱音音阶进行优化处理,融云在音频方面采用全声道采样、立体声支持,支持最高音频采样率 48KHz,可真实还原对端声音,高度还原音乐细节。此外,融云实时音视频还提供隐身监课功能,课程监督者可隐身进入课程房间,实时了解课堂情况,能够有效帮助平台提升课程品质,提高用户满意度。

泛娱乐社交场景的 RTC 应用

泛娱乐社交中,融云可提供包括音视频连麦、观众直播、麦位管理、互动聊天室在内的一整套解决方案,适用于泛娱乐直播、语音聊天室、相亲交友、音视频通话等多场景。

泛娱乐直播场景中,融云提供的低延迟互动直播是基于RTC技术做的直播推流,它不依赖 CDN 推流,主播观众间延迟在 300ms 左右,主要服务一人直播多人互动的场景,比如直播带货、直播连麦、语聊、游戏社交等,为主播端到观众端延迟无感知的实时互动提供高质量保障。与 RTC 技术不同的,另一种实现音视频能力的 CDN 技术,往往直播延时在 3-5 秒。

在泛娱乐直播中经常会出现多麦位直播场景,即多人直播互动场景,融云可以提供麦位双向音视频通话能力,观众可以清晰收看合流直播;同时还可以通过融云 IM 通道实现上麦、下麦、抢麦、轮麦、抱麦、禁麦等多种麦位管理方式,让房主更好地管理直播间。此外,融云通过自定义聊天室属性,提供 Key、Value 多种存储方式,实时记录客户端与服务器端用户麦位状态,实时更新,确保多麦位直播的流畅无卡顿。


融云语音聊天室解决方案
近期,全球音频社交类 App 开发增多,语音聊天室这类场景被关注。融云为开发者们提供了“多路音视频互动”技术,纯音频可以做到支持 32 路连麦互动,同时提供多种控麦能力的“麦序管理”功能,满足开发者快速构建多人语聊场景的需求。

更多领域中的 RTC 应用

智能硬件领域,在智能手表、智能音箱、VR 眼镜、智能门禁中,融云均可帮助开发者实现端到端的一对一/多方音视频通话;尤其在智能音箱场景中,手机端可以远程监控音箱端,如遇紧急情况,可随时开启服务器端录像功能。

在地产服务中,融云可以帮助客户实现 VR 直播带看,利用 IM 信令通道实现多端 VR 同步看房;利用实时音视频技术,让用户与客户经理实时语音连线,实现客户经理远程 VR 带看并同步讲解。

在线医疗的远程会诊,融云可帮助开发者实现多方会诊、病历上传、病情讨论、后台录制等功能;在线问诊中,融云还可提供互动白板、时长计费、IM沟通与高清多方音视频等。

此外,企业通信的协同办公、视频会议;金融服务的远程面签、视频客服等,凡涉及互联网通信领域,皆是融云 RTC+IM 双重能力所覆盖的范畴。

结语

在实际应用场景中,IM 和 RTC 能力是密不可分的。有 RTC 需求的几乎 100% 都有IM 需求。融云 RTC 调用了 IM 信令通道,在稳定性、可靠性和通信接口协调性上,都能确保性能质量更佳,以 RTC+IM 双重能力为开发者提供更好的服务。在当前更为强调互动性的移动互联网新时代,通过融云“IM+RTC+推送”一体化解决方案,可以帮助开发者更加快速地构建低延迟、高品质的应用通信能力,实现音视频通信的全行业、全场景覆盖。

【融云分析】做好 WebRTC 的两大必备要素

WebRTC融云那些事 发表了文章 • 0 个评论 • 47 次浏览 • 2020-06-16 18:01 • 来自相关话题

| 什么是 WebRTCWebRTC 是一个可以使我们在浏览器或移动 App 中直接进行音频/视频交流的技术,它可以进行 P2P 文件共享,处理大量音频数据,实现在线视频会议等,WebRTC 使设备能够在平台和浏览器之间传输音频和视频。使用特定的 API ,开... ...查看全部

| 什么是 WebRTC

WebRTC 是一个可以使我们在浏览器或移动 App 中直接进行音频/视频交流的技术,它可以进行 P2P 文件共享,处理大量音频数据,实现在线视频会议等,WebRTC 使设备能够在平台和浏览器之间传输音频和视频。使用特定的 API ,开发人员可以允许他们的用户通过简单的浏览器连接设备,而无需任何额外的插件、扩展或软件安装。这种多功能性使得 WebRTC 成为各种物联网设备开发人员的热门选择。

| WebRTC 的应用前景

从 2G 时代的文字信息传输到 3G 时代的图片传输再到 4G 时代的直播热潮,每个网速时代的变革都将我们的梦想一步步实现;随着 5G 即将到来,更好的上网体验将会极大地推动音视频行业的发展和创新。

WebRTC 也将激活人与人、人与物、物与物之间的信息纽带,解决互联网音视频通信的技术门槛问题,成为应用场景创新的强大技术保障,为社交、监控、视频会议、物联网、在线教育、远程医疗等场景注入新的活力。随之,互联网尤其是移动互联网上基于 WebRTC 的各种应用创新也将层出不穷。

| 如何做好 WebRTC

一款音视频产品通常会包含信令服务、媒体服务、网络服务等几部分;而一款运行稳定、性能出色的 WebRTC 产品,则需要满足以下几个要求。

1、稳定的信令系统

我们需要通过信令来控制 WebRTC ,并且在此基础上构建各种业务逻辑。信令即协调通讯的过程,应用要发起一个音视频通话,通常需要在客户端之间交换如下信息:

1) 会话的信息

2) 设备的能力,编解码、分辨率、码率等

3) 秘钥信息,用于创建安全连接

4) 网络信息,如外部能访问的主机 IP 和端口

5) 传递信息,通过信令来实现业务场景中的通话控制

……


如上图:如果 A 和 B 要发起音视频通话,需要将双方的 SDP 信息做交换,才能建立连接。由此可见信令系统若想保证足够的稳定,连通率、到达率、高并发、高可用等技术指标需全部达标,才能确保 WebRTC 通话的建立和通话过程中的逻辑控制。

2、高可用的媒体服务器

WebRTC 常见的几种模式如下:

1) Mesh 网状结构

通过搭建 Turn/Stun 服务直接发起端到端的 P2P 通话。


优点:不需要搭建 MediaServer 。

缺点:对于多人通话需要每个客户端都跟其他两个端分别建立 P2P 连接,每新增一个客户端,所有的客户端都需要新增一路数据上行,导致客户端上行带宽占用太大。因此,通话人数越多,效果越差,也无法在服务端对视频进行额外处理,如:录制存储回放、实时转码、智能分析、多路合流、转推直播等。

2)MCU

服务端负责把参与者的视频做混流,多人参会每个人只有一个上行视频,同时接收一个下行视频流。


优点:客户端压力较小,带宽消耗小,服务端可以控制下发的视频数据,从而可以发起更多参与者的视频会议。

缺点:服务器资源消耗较大,对服务器的性能要求高,服务器成本高昂。

3)SFU

SFU 的全称是:Selective Forwarding Unit,是一种通过服务器来路由和转发 WebRTC 客户端音视频数据流的方法。 SFU 服务器最核心的特点是把自己“伪装”成一个 WebRTC 的客户端,将一个 Client 端的数据转发到其他多个 Client 端。


优点:对服务器性能要求不高。

缺点:对服务器和客户端带宽要求高。

| 融云音视频的实践

音视频领域飞速发展的今天,融云也通过在音视频领域多年的摸爬滚打,充分借助融云 IM 通道的稳定性和数年来逐步优化的覆盖全球的专有网络优势,打造出了自己的音视频解决方案。

1、信令系统

1)可靠性

融云对分布式 RTC 网络的活用,让信令服务与媒体服务不需要状态同步,媒体中心间不需要状态同步;音视频复用融云即时通讯信令通道,信令服务与媒体服务解耦、无依赖;弱网环境下,消息发送方只要将消息发送到服务器端,服务器端能确保消息不丢、不乱、不重。

2)安全性

基于融云自有知识产权的连接加密技术,可以防止黑客以中间人方式进行数据窃听,数据在传输过程中不可破解, NAV 导航服务与 CMP 连接管理服务的安全算法一致,每个客户端从导航服务获取到加密校验值( SM2 标准),均按照安全算法与所连接的 CMP 服务进行安全协商,针对校验值 CMP 会进行合法性验证( SM3标准),协商的校验值不能在其他 CMP 连接管理服务上使用。消息在传输之前,通过 SM4 对数据进行加密,并且通过加密连接传输将信息发送到发送方所在 CMP 连接管理服务,之后,由发送方所在 CMP 连接管理服务进行解密并将解密后的消息发给消息服务,依据协议内容,由消息服务负责将信息传递给接收方所在 CMP 连接管理服务,而后 CMP 连接管理服务依据接收方的密钥进行信息加密,最后通过加密连接下发信息。

2、MediaServer


1) 全球化部署,低延迟

全球部署多个 MediaServer 数据中心,用户就近接入;跨国网络之间通过专线连接,保证媒体数据传输延迟低。

2) 动态扩展

信令和 MediaServer 完全解耦,随时随地部署,通过监测服务器负载情况可以随着业务量级增长动态横向扩容,保证业务的高可用性。

3) 高质量音视频流

通过高效的处理,提高服务器吞吐量,减少丢包率,通过丢包重传和网络探测机制,提高在弱网环境下的音视频质量和用户体验。

音视频交流