一种基于人脸色彩特征的自动白平衡方法及电子媒体装置的制造方法
【技术领域】
[0001 ] 本发明涉及影像技术和电子设备领域，特别的是摄像头图像处理系统中的色彩控 制、处理和增强。
【背景技术】
[0002] 自动白平衡通常包括照明色彩及色温估计，色彩通道的增益调节和色彩矫正和增 强。肤色物体表面通常是白平衡照明色彩及色温估计的比较棘手的场景。其一是种族和个 体的肤色差，以及个人化妆等带来的随机变异。其二是白色或其它物体表面在一定的色温 光照下和肤色难以分辨，从而使目前流行的一些白平衡算法如A.灰色世界、B.完全反射、 C.多表面相关等在肤色充盈的场景下对环境色温发生误判。即便在主流品牌的摄像产品 中，肤色引起的白平衡误差和肤色色彩还原误差也颇为多见。因此，美国专利申请公开号 US2008037975A1中主张将人脸肤色从环境色温的估计中剔除。自动白平衡的一个主要难点 是在估计环境色温时，摄像头看到的是未知光源的光照在未知色彩表面物体上的混叠。如 果场景中有已知色彩的表面，比如像专业摄像常用的现场白平衡的灰板，计算则很简单。但 这对普通照相用户是不方便的。
【发明内容】
[0003] 本发明的其中一个目的在于提供一种基于人脸色彩特征的自动白平衡方法。
[0004] 解决本发明的其中一个目的所采取的方案是：提供一种基于人脸色彩特征的自动 白平衡方法，其特征在于，该方法适用于电子媒体装置的图像及视频媒体的自动白平衡，包 括如下步骤：
[0005] 步骤一：获取在自动白平衡适用的光源照明下含有清晰明亮用户人脸的图像；对 人脸进行检测、分割、识别和色彩特征提取，获取包括用户人脸肤色、眼白及牙齿的本征值 和目标值的人脸色彩特征集；
[0006]步骤二：根据所述人脸色彩特征集对图像背景和人脸分别进行环境照明色温及色 彩估计，得到对应色温及色彩估计值Q、C2，综合Q、C2得到全图像的估计值C 3;
[0007] 步骤三：根据所述人脸色彩特征集、色温及色彩估计值对图像进行白平衡矫正和 色彩增强。
[0008] 本发明的又一目的在于提供一种电子媒体装置。
[0009] 解决本发明的又一目的所采取的方案是：提供一种电子媒体装置，包括至少一个 前置工作模式的摄像头，所述摄像头的前置工作模式的拍摄视场中通常含有该电子媒体装 置的用户；
[0010] 一个或多个控制器，其中一个控制器用于控制该电子媒体装置的系统；
[0011] 固态或非暂时性存储器，用于存有可供控制器读取的指令集；
[0012] 动态存储器，用于供摄像头缓存帧图像和其它数据，以及控制器用来执行指令；
[0013]可通过网络或其它媒介接收和传送图像、视频或其它数据的装置；
[0014]可显示图像和图形的显示屏；
[0015]用户可控的人机交互界面；
[0016]其中，所述摄像头包括镜头、图像传感器、存储器、摄像头控制器、及图像处理器等 模块；该图像处理器将图像传感器传过来的信号处理成符合应用格式化的图像或视频；
[0017]其中，所述摄像头的上述部分或全部模块是资源独立的，或者是和宿主电子媒体 装置资源共享的；
[0018]该图像处理器包括自动白平衡模块，该自动白平衡模块通过其包括的电子逻辑和 控制处理电路硬件模块及控制处理软件模块以及该电子媒体装置的其它资源来实现下述 自动白平衡方法和步骤：
[0019] 步骤一：获取在自动白平衡适用的光源照明下含有清晰明亮用户人脸的图像，对 人脸进行检测、分割、识别和色彩特征提取，获取包括用户人脸肤色、眼白及牙齿的本征值 和目标值的人脸色彩特征集；
[0020] 步骤二：运用所述人脸色彩特征集对图像背景和人脸分别进行环境照明色温及色 彩估计，得到对应色温及色彩估计值Ci、C2，综合Ci、C2得到全图像的估计值C 3;
[0021] 步骤三：根据人脸色彩特征集、色温及色彩估计对图像进行白平衡矫正和色彩增 强。
[0022] 在本发明中，该图像处理器包括自动白平衡模块，该自动白平衡模块包括电子逻 辑和控制处理电路及控制处理软件，通过该电子逻辑和控制处理电路及控制处理软件在视 频预览、录像或抓拍过程中将该图像处理器流水线上的帧图像缓存于独立的或共享的存储 器中，进行人脸检测、分割和识别，提取用户人脸的色彩特征作为自动白平衡的参考表面， 利用该表面色彩特征进行更为准确的白平衡的照明色温及色彩估计，并可对人脸及人体裸 露的肤色、图像的其它部分进行有区别的白平衡的调节和色彩增强。此外，通过人机交互界 面可获取用户对自己人脸色彩的喜好作为AWB调节的参考目标值，以达到一对一的用户人 脸色彩表达的体验效果。
[0023] 本发明的第三个目的在于提供一种可由多装置架构实现的更灵活应用上述自动 白平衡的方法的电子媒体装置。
[0024] 解决本发明的第三个目的所采取的方案是：提供一种电子媒体装置，包括一个或 多个处理器，其中一个用于控制该电子媒体装置的系统；
[0025]固态或非暂时性存储器，用于存有可供控制器读取的指令集；
[0026] 动态存储器，用于供摄像头缓存帧图像和其它数据，以及控制器用来执行指令；
[0027]可通过网络或其它媒介接收和传送图像、视频或其它数据的装置；
[0028]可显示图像和图形的显示屏；
[0029]用户可控的人机交互界面；
[0030]一个基于人脸色彩特征的自动白平衡装置，为该装置所含或与该装置相连的摄像 头的一个自动白平衡模块，或是该装置其它应用中的一个自动白平衡模块，该自动白平衡 模块的实现包括：
[0031]步骤一：获取在自动白平衡适用的光源照明下含有清晰明亮用户人脸的图像，对 人脸进行检测、分割、识别和色彩特征提取，获取包括用户人脸肤色、眼白及牙齿的本征值 和目标值的人脸色彩特征集；
[0032] 步骤二：获取需要进行自动白平衡矫正的图像，对该图像进行人脸检测、分割、和 识别，确认该图像含有用户人脸；运用所述人脸色彩特征集对图像背景和人脸分别进行环 境照明色温及色彩估计，得到对应色温及色彩估计值Q、C2，综合Q、C2得到全图像的估计值 C3；
[0033] 步骤三：根据所述人脸色彩特征集、色温及色彩估计值对图像进行自动白平衡矫 正和色彩增强；
[0034] 所述步骤一及步骤二中获取图像的方法是通过摄像头实时采集的，或者是在摄像 头采集后非实时获取的；所述步骤一、步骤二及步骤三可以在一个或多个电子媒体装置上 实现；在多个媒体装置上实现时，包括在第一电子媒体装置上实现获取图像，在第二电子媒 体装置上实现人脸色彩特征集的获取，在第三电子媒体装置上实现步骤二、或步骤二及步 骤三，或其他步骤与装置的组合。
【附图说明】
[0035]图1为前摄平台的示意图；
[0036] 图2为自动白平衡（AWB)模块的ISP示意流程图；
[0037] 图3为自动白平衡（AWB)模块的另一 ISP示意流程图；
[0038] 图4为后处理模式的流程图示意图；
[0039]图5为人脸色彩特征获取模式的流程图；
[0040] 图6为AWB调节模式的流程图；
[0041] 图7为AWB机器学习模式的不意图；
[0042] 图8为将人脸分割成肤色区、眼白、牙齿的示意图；
[0043] 图9为白点轨迹和肤色轨迹在一个色坐标系中的示意图；
[0044] 图10为一种AWB调节的方法，使用同一个C3对整幅图像进行同一处理；
[0045] 图11为另一种AWB调节的方法：使用(：3有区别的对人脸和背景图像进行处理，以 白平衡标准参考光源照明下的白点位置为目标；
[0046] 图12为另一种AWB调节的方法：使用(：3有区别的对人脸和背景图像进行处理，并 以用户喜好的色彩表达为目标；
[0047]图13为一种检测人脸以外其他裸露皮肤的方法；
[0048] 图14为用户人机界面的实现方法示意图；
[0049] 图15为AWB反馈学习示意图；
[0050] 图16为人脸色彩特征用于人脸识别的辅助矢量的示意图。
【具体实施方式】
[0051] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明 进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于 限定本发明。
[0052] 为了便于理解，对涉及到专用符号或名词进行如下解释：
[0053] Cn C3：
[0054]将图像分割成人脸部分和背景部分，Q，C2, C3指自动白平衡（Automatic White Balance :AWB)的照明色温及色彩估计基于人脸、背景和全图的计算过程和结果。该结果通 常由某一色空间或色坐标系中的坐标点位置来表示。用来计算色温的方法可以用上述背景 技术中提到的A、B、C或其它方法。
[0055]人脸色彩特征：在本发明中指人脸分割后，人脸肤色，眼白以及牙齿部位的统计 色彩特征，包括其本征值及目标值，对应于AWB常用的光照色温区间的照明色温及色彩。
[0056]人脸色彩特征集：在本发明中指包括所有用户的对应于AWB常用的光照色温区间 的照明色温及色彩的人脸色彩特征的数据集合和结构。
[0057]前摄平台：指摄像头或其它含有摄像头电子媒体装置，在操作中至少有一个模式， 其中一个摄像头的视场通常含有该装置的使用者。
[0058] 机主：前摄平台的机主或管理员，有权使用并授权平台使用者用户权，使其有使用 本发明的体验的权利。
[0059] 用户：前摄平台具有用户权的使用者，用户权也有可以有前摄平台的服务程序直 接开放授权，直至用户群达到系统支持的最大限度。
[0060] ISP (Image Signal Processor :图像信号处理装置或图像信号处理器）：摄像头的 图像信号处理系统，包括图像传感器的接口、与宿主设备的控制和信号通讯接口、图像信号 处理的电子电路的计算和逻辑硬件引擎、数据和程序使用的存储器，可编程的控制器及控 制和处理软件等。
[0061]鉴于观测到用户人脸常常是前摄平台的主要摄像目标并占据了拍摄图像的较大 的画面，而手机后置摄像头和其它摄像装置也经常拍摄人脸肖像；并由于智能手机及其它 前摄平台的日益扩展和普及应用，使得利用现场拍摄到的图像中用户人脸的色彩特征作为 AWB的参考表面成为一个实用可行的技术。
[0062]本发明自动白平衡（AWB)装置作为摄像头ISP的一个模块适用于前摄平台，也可 应用于其它摄像平台的自动白平衡的方法和装置，包括电子逻辑和控制处理电路，和控制 处理软件。其主要工作过程为首先获取人脸色彩特征集，其次在实时工作中将ISP流水线 上的帧图像缓存于存储器中，进行人脸检测、分割和识别，