图片新闻鱼脸也能AI识别机器学习增强人像照明第二届全国智能体育大赛落幕
第12版:科技服务·AI
上一版 下一版  
图片新闻
鱼脸也能AI识别
机器学习增强人像照明
第二届全国智能体育大赛落幕
     
 
重庆日报 | 重庆日报农村版 | 重庆科技报
重庆日报报业集团主办 
3上一篇  下一篇4  
2021 年 01 月 28 日 星期 放大 缩小 默认  
谷歌提出“光影魔术手”技术
机器学习增强人像照明

温厉

  对于经验丰富的摄影师来说,拍摄时的光线情况不仅可以从皮肤的漫反射获取,同时还可以通过投射阴影的方向和范围、高光反射的强度和位置来获取。在这一经验的启发下,谷歌研究人员提出了一个可以从人像实现逆向光照的模型,不需任何特定的皮肤反射模型假设,也能估计出环境中全向的高动态范围照明情况。这种技术可以得到具有更高频率细节的照明信息,使得更真实的人像渲染和ARi视觉特效成为可能。

  为了训练这一模型,研究人员构建了一个包含人像和对应光照情况的庞大数据集。数据集中包含了70个人物在331个光照下的基础数据,以及利用渲染技术生成的约100万张包含室内外光照环境的人像数据集。下面就让我们从数据集、模型架构和实验等方面来详细了解这项技术的实现过程。

  训练模型需要大量的具有光照情况标记的肖像照片,但在现实中去收集如此庞大的数据集几乎是不可能的,所以研究人员采用了一种基于图像的数字驱动的重光照技术来合成具有光照标注的肖像照片,通过适当地捕捉复杂的光传输现象来渲染出逼真的图像。在反射场的理论框架下,人们可以通过反射场和HDR环境光的点乘来获取重新光照下的主体图像。

  为了记录人物的反射场,研究人员使用了安装在球面内的331个LED灯来进行拍摄,反射场通过一系列反射基图像来进行记录,每次打开一个LED灯拍摄记录一个独立的光照结果(One-Light-At-a-Time, OLAT),并利用6个相机在不同的角度记录了人物的图像。

  由于获取对象的完整OLAT序列需要6秒钟,因此,目标在拍摄过程中不可避免地会有一定程度的移动。为了解决这个问题,研究人员采用光流技术来对齐图像,每隔11个OLAT帧就增加一对均匀一致的照明“跟踪”帧,以确保满足光流的亮度恒定约束。这一步骤可保证重光照操作时图像特征的清晰度,以便将对齐的OLAT图像进行线性组合。

  利用正前方的两个相机,研究人员还获取了每个主体的掩膜,以便于将他们渲染到新的环境中。首先利用6个LED均匀地照明灰色的背景材料,而人物不会被照明;同时还在相同条件下拍摄了没有人物时的完整背景。这样一来,掩膜可以用第一次拍摄的图分离第二次拍摄干净的背景图获取。

  为了利用拍摄好的反射场对主体进行重新打光,研究人员收集了大规模的高动态环境的数据集来驱动深度学习算法。这里主要使用视频级速率的图像捕捉技术获取了近100万张室内和室外的数据集。

  其捕获的图像中包含了散射、磨砂银质和镜面的参考球体。这三个球可以有效反映环境中不同的照明线索,其中,镜面球反映了全向的高频信息,但会忽略较亮的光源,造成强度和颜色的改变;而近似朗伯体BRDF的漫反射球则可以视为低通滤波器,捕获模糊但相对完整的场景照明线索。与前人的工作不同,本研究需要获得真实的HDR照明信息来对人物进行重新打光,需要显式地提升这三个球的质量以估计其所处环境的HDR光照条件。

  对于镜面球捕捉的图像来说,如果不存在缺失,则直接利用反射率来恢复场景光照;如果存在缺失,则通过反射模型和最小二乘法来解出对应的结果。通过一系列复杂的算法就可以重建出HDR反射场。

3上一篇  下一篇  
 
《重庆科技报》版权所有 未经书面授权 不得复制或建立镜像
地址:重庆市渝中区双钢路3号科协大厦 邮编:400013
技术支持:北京北大方正电子有限公司