进 行编码后形成的附属码流进行合并W形成传输码流。
[0139] 具体的,在本发明实施例中,视频服务器对该主帖序列进行编码后生成主码流,视 频服务器对该第一残差帖序列进行编码后生成附属码流,进而视频服务器即可将主码流和 附属码流合并,生成传输码流。
[0140] 示例性的,在该视频传输码流中,可W在前100个比特位存放主码流的数据,下100 个比特位存放附属码流,再下100个比特位存放主码流,依次类推。视频服务器也可W直接 将附属码流存放在主码流的补充增强信息SEI (英文全称:supplemental enhancement information,缩写:SEI)中,即该传输码流为存放了附属码流的主码流,从而终端可W直接 对主码流的SEI进行解码,W将附属码流从主码流中分离出来。
[0141 ] S105、视频服务器将该传输码流发送至所述终端。
[0142] S106、终端接收传输码流,并将该传输码流分离成主码流和附属码流。
[0143] S107、终端对该主码流和该附属码流分别进行解码W获取重构的主帖序列和重构 的第一残差帖序列。
[0144] 需要说明的是,附属码流经过解码器解码后只能获取重构的第一残差帖序列,但 重构的第一残差帖序列与第一残差帖序列之间的误差非常小,并不会造成严重影响。同样, 主码流经过解码后只能获取重构的主帖序列,重构的主帖序列与主差帖序列之间的误差也 非常小。
[0145] S108、终端获取该重构的主帖序列的插帖序列。
[0146] S109、终端根据该重构的第一残差帖序列和该插帖序列获取重构的附属帖序列。
[0147] 具体的,在本发明实施例中,终端可W直接该插帖序列和该重构的第一残差帖序 列相加获取重构的附属帖序列。终端也可w先对重构的第一残差帖序列进行一系列预处理 后,再与该插帖序列相加,W获取重构的附属帖序列,具体的实施方式将在下述实施例中进 行详细说明。
[014引S110、终端将该重构的主帖序列和该重构的附属帖序列进行合并W形成重构的帖 序列。
[0149] 本发明实施例中,由于终端获取的重构的附属帖序列与原帖序列中的附属帖序列 之间的误差远小于该插帖序列与附属帖序列之间的误差,因此,通过采用本发明实施例提 供的帖处理方法,终端获取的重构的帖序列输出后所呈现的图像的质量,高于现有技术中 将插帖序列与重构的主帖序列合并而形成的重构的帖序列输出后所呈现的图像的质量。
[0150] 进一步的,在本发明实施例中,上述S102中视频服务器根据该主帖序列获取插帖 序列,具体可W采用如下两种方式实现:
[0151] 方式一、上述S102具体可W包括:
[0152] S102a、视频服务器对该主帖序列进行编码,将编码后的主帖序列再进行解码,通 过帖率上转换算法对该解码后的主帖序列进行帖率上转换W获取该插帖序列。
[0153] 需要说明的是,由于终端只能通过对接收到的主码流进行解码获取重构的主帖序 列,而不是主帖序列,因此,在本发明实施例中,视频服务器可W先对该主帖序列进行编码 生成主码流,再对该主码流(即编码后的主帖序列)进行解码,W获取与终端相同的重构的 主帖序列,进而可W对该重构的主帖序列(即编码后的主帖序列)进行帖率上转换。
[0154] 需要说明的是,在本发明实施例中,视频服务器对重构的主帖序列进行帖率上转 换时所采用的帖率上转换算法,与终端在获取重构的主帖序列后,对重构的主帖序列进行 帖率上转换时所采用的帖率上转换算法完全相同,具体包括和终端采用相同的ME算法W求 得MV,再利用运动补偿的插值(英文:mot ion compensated inte;rpolat ion,缩写:MCI)算 法,根据求得的MV求得该重构的主帖序列的插帖序列。
[01巧]其中,ME算法可W包括3D递归捜索(英文:3dimension recursive search)算法、 PPC算法等。即若视频服务器采用3DRS算法求MV,则终端也同样采用3DRS算法求MV;若视频 终端采用PPC算法求MV,则终端也同样采用PPC算法求MV。
[0156] 相应地,上述S108具体可W包括:
[0157] S108a、终端通过帖率上转换算法对该重构的主帖序列进行帖率上转换W获取插 帖序列。
[0158] 可W理解的是,在本发明实施例中,由于视频服务器和终端通过相同的帖率上转 换算法对重构的主帖序列进行帖率上转换,因此,当视频服务器对重构的主帖序列进行帖 率上转换后,能够获取与终端相同的插帖序列。
[0159] 方式二、上述S102具体可W包括:
[0160] S102b、视频服务器通过帖率上转换算法对主帖序列进行帖率上转换W获取该插 帖序列和运动矢量MV,该MV用于终端对重构的该主帖序列进行帖率上转换。
[0161] 在本发明实施例中,视频服务器将待传输的原帖序列分离成主帖序列和附属帖序 列后,即可直接对主帖序列进行帖率上转换。
[0162] 具体的,视频服务器需采用与终端对重构的主帖序列进行帖率上转换时采用的帖 率上转换算法对主帖序列进行帖率。包括先通过帖率上转换算法中的ME算法求得MV,再利 用该帖率上转换算法中的MCI算法,根据求得的MV求得该主帖序列的插帖序列。
[0163] 在本发明实施例中,视频服务器通过帖率上转换算法对主帖序列进行帖率上转 换,获取该插帖序列的同时,可W同时获取通过上述^ffi算法求得的MV,进而视频服务器可W 将第一残差帖序列和该MV都编码到附属码流中,W使的终端在对该附属码流解码时,同时 解码出该MV,进而终端在对重构的主帖序列进行帖率上转换时可W直接利用该MV,获取重 构的主帖序列的插帖序列。
[0164] 相应地,终端通过对附属码流进行解码,获取到该MV后,上述S108具体可W包括:
[0165] S108b、终端根据该MV,通过帖率上转换算法对该重构的主帖序列进行帖率上转换 W获取插帖序列。
[0166] 需要说明的是,在本发明实施例中,由于终端在对重构的主帖序列进行帖率上转 换的过程中,是采用视频服务器提供的MV,求得重构的主帖序列的插帖序列,即保证终端和 视频服务器根据相同的MV进行插值运算,那么为了简化视频服务器的处理流程,视频服务 器即可直接对主帖序列进行帖率上转换。虽然视频服务器在进行MC操作时输入的是主帖序 列,终端在进行MC操作时输入的是重构的该主帖序列,但由于终端和视频服务器采用相同 MV,且重构的主帖序列和主帖序列之间的误差非常小,因此终端获取的插帖序列与视频服 务器获取的插帖序列之间的误差可W忽略不计。
[0167] 进一步的,在本发明实施例中,上述S103中视频服务器将附属帖序列和插帖序列 相减W获取第一残差帖序列,可W通过多种方式得W实现,下面列举Ξ种优选的实现方式 (方式1、方式2、方式3、W及方式4)对上述S103进行示例性的说明。
[0168] 方式1,上述S103具体可W包括:
[0169] S103a、视频服务器将该附属帖序列与该插帖序列相减后所得的残差帖序列直接 作为第一残差帖序列。
[0170] 相应地,上述S109具体可W包括:
[0171] S109a、终端将该插帖序列与该重构的第一残差帖序列相加 W获取重构的附属帖 序列。
[0172] 值得说明的是,在本发明实施例中,终端是将附属帖序列与插帖序列相减后所得 的残差帖序列直接所为第一残差帖序列的,从而终端在对附属码流进行解码获取重构的第 一残差帖序列后,可W通过将该插帖序列与该重构的第一残差帖序列相加直接获取重构的 附属帖序列。由于该重构的附属帖序列与原帖序列中的附属帖序列之间的误差远小于该插 帖序列与该附属帖序列之间的误差,因此,本发明实施例中终端获取的重构的帖序列与原 视频的帖序列之间的误差,要远小于现有技术中终端将插帖序列与重构的主帖序列合并形 成的重构的帖序列与原视频的帖序列之间的误差,从而相比于现有技术,通过输出本发明 实施例中终端获取的重构的帖序列能够提高终端输出的图像质量。
[0173] 可选的,为了减少视频服务器向视频终端传输视频传输码流时占用的网络带宽, 本发明实施例提出如下方式2、方式3W及方式4,通过在获取该第一残差帖序列的过程中, 减少该第一残差帖序列的比特数,从而降低第一残差帖序列经编码后生成的附属码流在传 输过程中,占用的网络带宽。
[0174] 方式2、上述S103具体可W包括:
[0175] S103b、视频服务器将该附属帖序列与该插帖序列相减后所得的残差帖序列进行 预处理,将预处理后的残差帖序列作为第一残差帖序列。
[0176] 其中,视频服务器对该附属帖序列与该插帖序列相减后所得的残差帖序列进行预 处理包括但不限于如下四种方式中的一种或多种。该四种方式包括:
[0177] A、视频服务器将残差帖序列中的每个残差帖的色度分量置零。
[0178] B、视频服务器根据预设的缩放比例将残差帖序列中的每个残差帖的分辨率进行 缩小。
[0179] C、视频服务器根据预设的噪声值将残差帖序列中的每个残差帖的像素进行去噪。
[0180] D、视频服务器根据预设的量化值将残差帖序列中的每个残差帖的像素进行量化。
[0181] 需要说明的是,在本发明实施例中,视频服务器在对残差帖序列进行预处理时,可 W任意执行上述四种操作中的一种或多种,且若视频服务器选择多种操作对残差帖序列进 行预处理,那么对于该多种操作之间的执行顺序,本发明实施例不作限制。
[0182] 示例性的,若视频服务器选择方式A对残差帖序列进行预处理,那么,可W理解的 是,在方式一中,由于视频服务器获取的第一残差帖序列为该残差帖序列的亮度分量,因此 视频服务器将第一残差帖序列进行编码后生成的附属码流的比特数,小于直接将该残差帖 序列进行编码而生成的附属码流的比特数,从而减少该附属码流在传输过程中占用的网络 带宽。
[0183] 进一步的,当终端通过解码该附属码流获取重构的第一残差帖序列后,将插帖序 列与重构的第一残差帖序列相加,获取的重构的附属帖序列,即为终端获取的插帖序列加 上该插帖序列与附属帖序列在亮度分量上的差值。那么,由于重构的附属帖序列与附属帖 序列之间的误差小于该插帖序列与附属帖序列之间的误差,因此,通过采用本发明实施例 提供的帖处理方法,终端获取的重构的帖序列输出后所呈现的图像的质量,高于现有技术 中将插帖序列与重构的主帖序列合并而形成的重构的帖序列输出后所呈现的图像的质量。
[0184] 示例性的,若视频服务器选择方式B、CW及D对该附属帖序列与该插帖序列相减后 所得的残差帖序列进行预处理,那么,假设该残差帖序列中的每个残差帖的分辨率为N,像 素为P,视频服务器根据预设的缩放比例M(M〉1)、噪声值D(D〉0),W及量化值Q(Q〉1),对每个 第二残差帖依次进行缩小分辨率处理、去噪处理W及量化处理后得到第一残差帖。
[0185] 具体的,视频服务器先根据Μ将该附属帖序列与该插帖序列相减后所得的残差帖 序列中的每个残差帖的分辨率Ν缩小为Ν/Μ。然后根据D,对每个残差帖的像素 Ρ进行去噪处 理,示例性的,可W根据公式PG = sign(P)X(|P|-D),将每个残差帖的像素转换为PG,完成去 噪处理。
[0186] 进一步的,在每个残差帖的像素为Pe的基础上,再根据Q对每个残差帖的像素进行 量化处理。示例性的,可W根据公式Pq = PG-Q,将每个残差帖的像素转换为Pq,完成量化处 理。
[0187] 可W理解的是,通过上述预处理,视频服务器获取的第一残差帖序列的分辨率为 N/M,像素为Pq。由于N/M小于N,Pq小于P,因此第一残差帖序列的比特数远小于该附属帖序列 与该插帖序列相减后所得的残差帖序列的比特数。从而减少该第一残差帖序列经过编码后 生成附属码流在传输过程中占用的网络带宽。
[0188] 需要说明的是,视频服务器还可W选择方式A、B、CW及D对残差帖序列进行预处 理,也可W选择A、B、CW及D中的其他组合