又快又好!大神利用AI修复古董纪录片,还原100年前的京城生活

时间:2020-05-22 相关资料下载



伴随着计算机科技的迅猛发展,“人工智能”强势崛起,从“高大上”走向“接地气”已经是成为不可逆转的趋势。人工智能可以解决农业、医疗保健、教育和世界经济发展中的许多问题,甚至重现影像资料。


百年前的北京是什么样子?近日,一位叫大谷Spitzer的微博网友,利用AI技术,将人民日报4年前发布的1920年北京黑白影像资料,做了修复工作。




一百年前人们打招呼的方式、使用的乐器、交通工具,在这段视频中,都清晰可见。配上颇合时宜的音乐,24小时内,已经有了将近50万的点赞量,10万多次的转发,接近3万的留言。

| AI 是怎么修复老片的?



据报道,作者 @大谷 Spitzer 修复这个视频的过程,主要有三部分,分别是补帧(让视频更流畅)、上色(让黑白变彩色)和分辨率扩增(让视频变更清晰)。


具体到工具,@大谷 Spitzer 补帧用的是 DAIN,上色用的是 DeOldify,分辨率扩增用的是 ESRGAN。


补帧的DAIN,简单来说就是一个基于视频深度信息感知的时间帧插值算法。DAIN 算法不会直接生成画面,而是先通过获取视频深度信息,检测出物体遮挡情况。然后,从相邻像素收集上下文信息,来完成层次特征学习。最后,基于上述信息生成视频帧。


视频上色方面,他用到了 DeOldify,这是一个在深度学习圈非常热门的项目。DeOldify 基于一种名为 GAN(生成对抗网络)的技术。它通过两个神经网络相互博弈的方式来学习数据,能生成逼真的新内容,其中一个广为人知的应用,是可以换脸的 Deepfake。



DeOldify 采用了一种改良过的 GAN 模型,即保留了 GAN 训练的优点(绚烂的色彩),又消除了视频中物体闪烁等副作用。

分辨率扩增上,@大谷 Spitzer 用的是 ESRGAN,同样是 GAN 的应用。把一张图片放大超过其原本分辨率,是很多人经常会做的事。这样的结果是,图片会变得模糊,因此就有人去研究,怎么把图片发大超过分辨率,而不变得模糊。




ESRGAN 利用深度学习方法来解决这一问题,相比传统方法,能得到更好的效果。


| AI 修复百年古董老电影


除了@大谷 Spitzer,今年2月也有国外网友Denis Shiryaev利用一种增强程序Gigapixel AI,将1896年的古董电影《火车进站》,转变成了4K 60fps高清“大电影”。


在修复帧率方面,他主要采用的技术是AI插值。据Shiryaev介绍,他采用的是一种叫做Gigapixel AI的商业图像编辑软件(付费)。这款软件由Topaz实验室创造,可以让图像的质量提升600%。


它利用一种专有的插值算法,对图像做分析、识别其细节和结构,最后将额外的“信息”填充到图像中。



这个工作量是什么概念?普通的高清是1920×1080,总像素为2073600,而4K高清是3840x2160,总像素是8294400。也就是说,光是要把普通高清提升到4K高清,就需要额外填充600万个像素。

不仅如此,还需要弄清楚如何显示这些额外的像素,这就是插值过程的用武之地。插值估计每个新像素要显示什么内容,这个过程是基于它们周边的像素。对于这一点,有许多方法可以来衡量,包括最近邻 Nearest Neighbor方法、双线性插值 Bilinear Interpolation方法、双三次插值 Bicubic Interpolation。


通过结合双线性插值和双三次插值,就可以生成光学质量损失最小的放大图像。而这一过程,Gigapixel AI利用深度卷积神经网络来完成。

至于着色工作,同样是利用神经网络,从一堆彩色照片开始,将它们转换成黑色和白色,然后再重建彩色原图。



AI 加速了老片修复的速度,也给 AI 在社会生活中的应用打开了新的思路。从人脸识别到智能家居,从无人驾驶汽车到智能教育,从智能穿衣镜到超级医生,无一不说明人工智能的未来已来。

思铺学院准备了丰富的人工智能相关项目,包括短期营地、科研训练、微创课题,对人工智能感兴趣的同学,可以咨询相关老师。



相关资料下载
暂无资料
热门推荐 /Popular recommendation
返回顶部