示例图片二

这款人造智能“橡皮擦”能把视频里的你抹失踪,奏效丝滑

2020-10-16 18:33:50 菲律宾真人在线游戏 已读

天空中遨游的海鸥凭空消亡,沙漠中的背包客在走走中阳世挥发……这些正本必要电影制作人员完善的视频特效又一次被人造智能“学会了”。

近期,一项收录于欧洲计算机视觉国际会议(ECCV)的钻研开发了一栽人造智能视频处理算法,能够在视频画面里抹除活动中的物体,同时保持活动边界的清亮度。

这项钻研题为《光流 - 边缘引导的视频补全》(Flow-edge Guided Video Completion),由美国弗吉尼亚理工大学和Facebook配相符完善,第一作者是美国弗吉尼亚理工大学计算机工程专科的博士生高谌。

高谌现在师从弗吉尼亚理工大学助理教授Jia-Bin Huang,钻研周围是计算摄影和计算机视觉,钻研荟萃在图像/视频操作和视觉场景理解。

正在骑马的活动员和马匹一首消亡

正在骑马的活动员和马匹一首消亡

在高湛及其同事展现的钻研收获画面中,各类活动中的物体,如摆动中的秋千、正在骑马的活动员、海上走驶的帆船等,通通在视频里“无痕”消亡,肉眼望不出人造的编辑痕迹。

这项钻研的另一位作者Jia-Bin Huang在外交媒体中泄漏,该算法能够在肆意拍摄的视频中无缝地移除对象、水印或扩大画面视野。这一算法还得到图灵奖得主、人造智能科学家Yann LeCun 的选举。高湛等人在论文中介绍,这是一栽基于光流的视频补全算法。视频补全(video completion)义务是用新相符成的内容填充给定的时空区域。它有许众行使,例如修复(去除划痕)、视频编辑、特效做事流(去除不必要的对象)、去水印和标志以及视频安详。

对于视频补全义务而言,难点是复活成的内容必要无缝地嵌入到视频中,并且更改答尽能够不被察觉。几年前,业界通用的手段是基于补丁的相符成技术。但这些手段清淡相符成速度慢,相符成新内容的能力有限,只能重新同化视频中已有的补丁。

后来展现了基于学习的技术,能够实现更相符理的相符收奏效,但是原由视频的高内存请求,存在分辨率题目。

喷泉旁旋转舞蹈的少女在首跳后消亡

喷泉旁旋转舞蹈的少女在首跳后消亡

作者认为,现在最成功的视频补全手段是基于光流的技术,其能够相符成色彩和光流,沿着光流的轨迹传递颜色,以升迁视频的时间连贯性,从而减轻内存题目并实现高分辨率输出。

这项新钻研也采用了基于光流的手段。作者外示,以去的光流补全手段往往无法保持活动边界的清亮度,而他们所开发的手段最先挑取并补全活动物体的边缘,再以光流边缘为引导补全光流。原由并非一切视频中缺失的区域都能议定这栽手段补全,钻研人员引入了非部门光流,使得视频内容能够在活动边界上传播。

作者称,可视化和定量终局都外明,他们的手段与最新的算法相比具有更益的性能。他们同时指出,其手段的运走速度为0.12fps(Frames Per Second,每秒传输帧数),与其他基于光流的手段相等,运走速度稍慢是一大弊端。

 

 (本文来自澎湃消休,更众原创资讯请下载“澎湃消休”APP)