【融云分析】H.264视频编码的基本原理和过程

前言:
在音视频通信中,音视频的数据压缩是有效降低带宽的主要方法;其中,视频占用了更高比例的带宽,视频压缩更为重要。

如果不压缩,一副 RGB 图像,按照 800 x 600 的分辨率, 每秒 25 帧的帧率, 那么:每秒的数据量 = 800 x 600 x 3 x 25 x 8 ( bit )。

H.264 压缩后,平均码率可以减少 20 倍;如果使用动态码率,对于某些简单场景的监控等,可以更大的压缩视频,同时保证视频质量。

视频压缩工具有很多,H.263、Mpeg-4、 VP8、VP9、 H.264 等等。目前最常见和最常用的视频压缩算法是 H.264,基于 H.264 比较流行的开源工具有 X264、OpenH264 以及 FFmpeg (内部集成 x264 和 OpenH264 ), 解码工具大多用 FFmpeg 实现。

视频编码的基本要求:

1:有足够的压缩比,能将压缩结果控制在一个范围内;

2:压缩后的视频,解压后要保证一定的视频质量。

H.264 的优势有什么呢?

1:很好的网络亲和性,更适合复杂网络传输;

2:更高的视频压缩比,在同等视频质量下;大约是H.263,Mpeg-4 的 2 倍;

3:目前移动端已经广泛支持 H.264 硬件编解码,效率和速度更快。

H.264/AVC 的常用概念:
帧和场:

视频的一帧,可以看做是一副完整的图像, 一帧视频可以分成两个隔行的场,通常叫做 “顶场” 和 “底场”。

为什么会有“场”的概念?

因为早期在电子显像管电视机中,图像是由电子逐行扫描显示的。为了更好的显示动态图像,就会先隔行扫描显示图像的 “顶场”,然后在扫描显示图像的“底场”。这样运动图像的显示效果会更好。

但是隔行扫描的实际效果是模糊了图像。目前随着科技的发展,在视频编码中,通常直接用一副完整的图像。

档次和级:

(1)基本档次:基于 I 帧 和 P 帧 ,支持 CAVLC 编码;适合视频会议,视频电话,实时视频流等。

(2)主要档次:支持各行视频,增加 B 帧编码,支持 CABAC 编码。主要用于视频存储等。

(3)扩展档次:支持流之间的切换,改进误码性能;主要用于视频点播等。


YUV 4:2:0 图像:
一帧没有经过压缩的位图数据一般保存的数据是每个像素用 RGB 表示,每个颜色分别用一个字节表示。

我们这里常用的 YUV 图像指的是 YUV 4:2:0 图像,用四个亮度 Y 分量对应一对 UV 色度分量。


RGB 转换 YUV 4:2:0 的公式:

Y = 0.299R + 0.587G + 0.114*B;

U = -0.169R – 0.331G + 0.5 *B ;

V = 0.5 R – 0.419G – 0.081*B;

由此可见,RGB 图像转到 YUV 4:2:0 图像的这一过程中是有图像质量损失的。

为什么用 YUV 4:2:0 ?

首先, YUV 4:2:0 比 RGB 图像小一半。每个像素为 12 bit。

其次,早期的电视分为黑白电视和彩色电视,如果是黑白电视,那么直接播放 Y 亮度分量。

如果是彩色电视,那么就可以全部直接播放。

视频编码系统的基本结构:

视频的压缩原理与过程:
1:我们先看一幅图像:(图1)


这幅图像中,大部分是绿色,如果仅仅将小球保留,绿色用一个变量和坐标表示,那么这幅图像的信息就可以很好的减少,也可以根据变量和坐标恢复图像。

2:再看一副图像:(图2)


这幅图像的小球,向右上角移动了一格,其它内容和信息都与上图基本一致;

如果已经有了“图1”, 那么只需要将“图2”与“图1”中的不同信息保存下来,那么就可以根据“差别信息”参考“图1” 来恢复显示“图2” 了。

这就是视频压缩的本质和原理:

空域压缩;

时域压缩。

GOP:
我们可以按照一定的图像数量进行编码,如 25 帧图像为一组,每组的第一帧图像通过帧内编码,我们称之为 IDR 帧,其它图像参考其它图像的信息进行编码,我们称之为 P 帧 / B 帧,那么可以将这一组数据一个 GOP。

如果一个 GOP 的第一帧图像 IDR 帧丢失或者损坏,那么这个 GOP 后面的所有视频数据将会解码错误。只有等到下一个 GOP,当解码器遇到 IDR 帧会即时刷新图像,清空参考图像列表。


宏块:
H.264 编码的最小单位,我们可以看做是一个宏块,就是一个 16 x 16 的图像区域,也可以划分的更小,如 8 x 8。

什么是预测编码?
在视频压缩中,就是将预测值与实际值作差,然后再次压缩。

帧内预测:

IDR帧 ,I 帧:
帧内编码就是当前帧不参考其它帧,可以独立解码的一种编码方式;

可以简单的想象为,一副 BMP 图像压缩为一副 JPEG 图像;

通常帧内编码的图像,我们称之为 I 帧 intra picture,就是不需要参考其它图像,可以自己独立解码出图像的视频数据帧。

需要注意的是:IDR 帧是 I 帧,但是 I 帧不是 IDR 帧。IDR 帧是一个 GOP 的第一帧,GOP 中间有可能出现 I 帧,后面的帧有可能参考 I 帧之前的视频帧,但是不可能越过 IDR帧。一般 IDR 帧 前面还有 SPS 和 PPS 信息。

在帧内编码中,宏块最多可以有九种预测模式,我们可以找到与原图最相近的预测图像:


帧间预测:
帧间预测技术分为 B 帧预测和 P 帧预测。

B 帧预测 – 双向预测:
主要是参考之前编码的帧和之后编码的帧;

B 帧的数据量更小,但是 B 帧由于需要参考后续帧,那么就会引入延时;

同时用到更多的计算开销;

B 帧不会作为参考帧,所以,丢弃 B 帧也不会引起花屏;如上面的“GOP 图“。

P 帧预测 – 单向预测:
主要参考之前编码过的视频帧;

后面为了清晰说明原理,以 BaseLine 为示例基础,仅包含 I 帧 和 P 帧;

运动矢量:
如:“图1”的小球位置坐标假设为(x0,y0), “图2”的小球位置坐标假设为(x1,y1),那么小球的运动矢量就是(x1 – x0,y1 – y0);

运动估计:
得到运动矢量的过程就是运动估计;


将预测数据和实际数据相减,去掉时域上的数据冗余,就得到了预测的“残差”数据,也就是补偿数据;

解码视频数据,可以根据补偿数据,运动矢量和参考图像恢复出当前图像。

这一步极大的减少了时间域上的图像冗余数据。

DCT – 离散余弦变化 :
这是一个复杂的数学名词,简单描述,就是去除像素间的相关性;

目的当然是进一步压缩数据。

举个例子:


更多的情况可能是图中情况,即便是这样,有效数据也更好的减少了,多了很多 “0” :


量化:
量化过程在不降低视觉效果的前提下减少图像的编码长度,减少图像信息中视觉恢复中不必要的信息。

量化结果,实际上是由量化步长决定的 (QStep),量化步长越小,图像的细节信息保留的越多,码率越高,图像质量越高。反之,量化步长值越大,图像质量越差。

量化是有损压缩,这一步的图像质量有一定的损失。但是前提是不影响正常的视觉和图像质量。

zig-zag 扫描 ,也有人称之为”锯齿扫描” :


zig-zag 扫描和 FFmpeg 官方标志

游程编码 – (RLC, Run Length Coding):
又称“运行长度编码”或“行程编码”,是一种统计编码,是一种无损压缩的编码方式。

其实锯齿扫描和游程编码可以看做是一体的。

游程编码进一步压缩保存了有效的保存扫描数据。

熵编码:
利用信源的统计特性进行码率压缩的编码称之为“熵编码”,也叫统计编码。

从名称来看,还是要压缩数据;这一步是无损压缩。基本原理就是给高频率数据短码,低频率数据长码。

从定义来看,就是指定一组数据中,根据数据出现概率来编码的一种方式。

在 H.264 中,也就是之前提到过的 CABAC 编码 和 CAVLC 编码。


本文图片部分主要来自于“百度图库”和《新一代视频编码压缩标准》。

1 个评论

good

要回复文章请先登录注册