AI修复100年前晚清影像喜提热搜，这两大算法立功了
整理 | 夕颜
来源 | CSDN（ID：CSDNnews）
昨天，一条“100 年前北京晚清的影像”喜提热搜，博主用 AI 技术修复了一段 10 多分钟的古董视频，使得 100 多年前老旧的黑白影像变得更加清晰，甚至有了颜色。
AI 还原100 年前晚清影像
这段时长 10 多分钟视频使用了 AI 修复技术，评论中有人表示，隔着屏幕与画面中的人物对视，恍然间有种时空交错的感觉，很神奇。对着这段视频仔细观察的笔者，其实也产生了这种恍惚的感觉。
除了被修复的珍贵影视资料本身，笔者更加关心的是修复影像背后使用的神奇 AI 修复技术。
在微博 Up 主的文案标明，修复影像的技术管线参考自开发人员，同时是一名 YouTuber 的 Denis Shiryae 上传的影像修复教程。
循着这个线索，笔者发现原来这位大神早就在 YouTube 上发布过一些关于 AI 修复影像的视频。比如这段用神经网络对 1906 年大地震前的旧金山影像进行修复的视频，解说中说到，他只做了一套神经网络工作流来做视频的修复与像素倍增，其中用到了 DAIN 进行帧内插，ESRGAN 在自定义数据集上进行帧升级，然后用 DeOdify 来做视频着色，这些算法都是公开的，感兴趣的话都可以搜索软件，然后搞事情。
另外，Denis 修复的一部 1896 年的黑白短片 The Arrival of a Train at Station 项目也非常有趣，同样也是使用公开的 AI 技术将其转换成了 4k 高清视频，并且可以以每秒 60 帧进行播放。结果虽然不完美，但同样让人惊艳。
可以看到，修复的结果并不十分完美。整个画面和动态中都存在一些特征性的“平滑”和奇怪的伪像，这都是在大量插帧时会出现的典型现象。但是对于大多数人（在大多数设备上）来说，这种效果还是像魔术一样神奇，修复后的画面中，人们的衣服和火车的细节清晰可见，画面流畅同步，可视距离变长。
有意思的是，这部电影上映时，因为人们从未见过一辆火车径直冲着观众冲过来的动态镜头，很多观众一度受惊被吓得跑出电影院，这部短片也被称为“电影的奠基神话”，流传为一段佳话。
Google 的 DAIN
和 Topaz Labs的 Gigapixel AI
言归正传，为了实现高清修复，Shiryaev 使用了两种神经网络：Google 的 DAIN（深度感知视频帧插值，Depth-Aware Video Frame Interpolation）和 Topaz Labs的 Gigapixel AI。其中，Gigapixel AI 用于将微弱分辨率的视频一直扩展到 4K，而 DAIN 用于创建和插入之前不存在的帧，从而将视频的 FPS 增加到 60。
首先来看 Gigapixel AI，随着图片放大，它可以对图片进行细节填充。具体的实现方法，是通过分析按比例缩小的大量图像，了解丢失的信息。经过训练，当图片放大时，Gigapixel AI 可以自动弥补图像损失的细节，让画质效果更佳。
这项技术也被打包放进了 Topaz Gigapixel AI 软件中，使用软件就可以对图像“无损”放大，亲测效果还不错。
第二个算法是由 Google 工程师团队和一些研究员开发的插帧算法 DAIN 添加的。
DAIN 也像 Gigapixel AI 一样可以填充细节，但却是插入整个图片而不是单个像素，从而将帧速率提高到每秒 60 帧。
当然，AI 使用现有的大量视频作为训练材料，通过评估前后帧以及镜头中的不同深度水平，以找出缺失的信息。
上图为 DAIN 的架构图，工作原理大致为给定两个时刻的输入帧，先估计光流和深度图，然后使用建议的深度感知流投影层生成中间流。
然后，模型基于光流和局部插值内核对输入帧、深度图和上下文特征进行扭曲，合成输出帧。
这种模型紧凑、高效且完全可微分。定量和定性的结果表明，DAIN 在各种数据集上均优于最新的帧插值方法。
DAIN 已经在 GitHub 上开源，感兴趣的同学可以详细研究一下：
https://github.com/baowenbo/DAIN
有一点需要说明，我们在此修复中看到的所有额外细节可能实际上并不是镜头中的真实内容，而是算法在经过大量类似照片和视频库中训练给出的最接近真相的预测。
原版短片是由 Lumière brothers 拍摄的，摄像机使用了 35mm 胶卷（这种胶卷还可以作为投影仪使用）。
另外还应该指出的是，和线上那些低分辨率的盗版电影相比，Shiryaev 使用的原始视频质量相对较高，这可能要归功于先前的修复技术。
不幸的是，源视频并没有提供任何有关制作方式的详细信息，但似乎已经用某种方法进行了数字化增强。
无论原版影片是否经过处理，修复后的新版本的分辨率和流畅度都有了明显的提高，这就够了，因为这为我们用 AI 引擎构建虚拟现实提供了很多灵感。
尽管人们对 Deepfake 的照片和视频忧虑重重，这门可以虚构从未存在场景的技术经常因为负面新闻出现在头条，但是类似的修复图像技术可以还原历史，带给人们的价值，显示出神经网络的积极作用。
总之，任何好用的技术本质上都是一把双刃剑，不能因噎废食，为了更好地使用这把利器，更多地需要从法律法规等途径进行约束，创造更好的环境，是不是这个理儿？
推荐阅读
CycleGan人脸转为漫画脸，牛掰的知识又增加了 | 附代码
一次对语音技术的彻底批判
360金融首席科学家张家兴：别指望AI Lab做成中台
为什么说 C++ 太复杂？有必要这么复杂吗？| 原力计划
关于Spring AOP，除了动态代理、CGLIB，你还知道什么？
产业区块链：新基建中的底层技术基座，各行业资深人士应积极参与建设
你点的每个“在看”，我都认真当成了AI
相关文章：
ls和find命令查找的一些小技巧
看到老男孩老师的博客有一篇是要写用三种方法查找修改文件；想来想去后面回去看一下ls和find命令的使用技巧，非常实用这里总结一下、省得每次用都百度：ls命令总结：-t 可以查看相关修改的时间-l 每行显示一个条目-h 可以结合显示文件…
[Android]ListView性能优化之视图缓存
前言ListView是Android中最常用的控件，通过适配器来进行数据适配然后显示出来，而其性能是个很值得研究的话题。本文与你一起探讨Google I/O提供的优化Adapter方案，欢迎大家交流。声明 欢迎转载，但请保留文章原始出处:) 博客园&am…
在商业中，如何与人工智能建立共生关系？
作者 | Daniel Williams译者 | 风车云马 责编 | Carol出品 | AI科技大本营（ID:rgznai100）如今这个时代，不管是有意还是不经意，我们都在接触或使用人工智能。在我们的日常生活和商业实践中，各种在线的设备、云计算和边缘…
H.264 基础及 RTP 封包详解
一. h264基础概念 1、NAL、Slice与frame意思及相互关系 1 frame的数据可以分为多个slice. 每个slice中的数据，在帧内预测只用到自己slice的数据， 与其他slice 数据没有依赖关系。 NAL 是用来将编码的数据进行大包的。 比如，每一个slice 数…
点分十进制IP校验、转换，掩码校验
/****************************************************************************** 点分十进制IP校验、转换，掩码校验* 声明：* 本文主要记录如何对IP、掩码进行转换、校验等相关内容，注意大小端的问题。** …
再见 Python，Hello Julia！
作者 | Rhea Moutafis译者 | 苏本如，责编 | 夕颜头图 | CSDN 下载自视觉中国出品 | CSDN（ID：CSDNnews）随着Python的停滞不前，一个新的热门竞争对手崛起了。如果Julia对你来说仍是个谜，别担心。不要误会我的…
【流媒體】jrtplib—VS2010下RTP开源协议库JRTPLIB3.9.1编译
一、JRTPLIB简介 老外用C编写的开源RTP协议库，用来进行实时数据传输，可以运行在 Windows、Linux、 FreeBSD、Solaris、Unix和VxWorks 等多种操作系统上，主页为：http://research.edm.uhasselt.be/~jori/page/index.php?nMain.Home…
揭露Windows中各种不老实的服务
使用电脑经常会碰到各种各样的问题，比如：网上邻居上看不到一个邻居、无法拨号上网、电脑关机速度变慢等，在你尝试了各种方法还没有解决时，不妨到“控制面板→管理工具→服务”中查一查，没准故障的根源就在这里。 …
文本相似度的计算
文本相似度的计算方法有很多，这里简单记录一下 传统的VSM模型： 计算文本相似度的时候主要是使用tfidf来协助生成文档向量 整个文档集合有多少词，就是多少维度 每个文档中的词用tfidf来生成权重，用权重来表示文档的向量 生成向量后…
vc picture控件载入背景图，随控件大小改变
在mfc里，想要在Picture控件中载入一张图片有两种方法：静态的和动态的。静态的方法就是图片先载入资源（.rc）文件中，拥有一个唯一的ID；动态的方法就是制定图片的路径名即可。 当然这样的方法网上一搜有很多&…
真没想到，Python还能实现5毛特效
来源 | ZackSock（ID:ZackSock）图源 | 视觉中国Python牛已经不是一天两天的事了，但是我开始也没想到，Python能这么牛。前段时间接触了一个批量抠图的模型库，而后在一些视频中找到灵感，觉得应该可以通过抠图的…
第八章 VLSM
VSLM(variable length subnet mask)------------可变长长度子网掩码 对于点对点链路而言，最好的子网掩码是：255.255.255.252对于lan而言，好的子网掩码可能是255.255.255.192。vlsm的两个好处：在大型网络中高效地使用寻址ÿ…
Androidstudio下Generate signed apk提示Error: Expected resource of type id [ResourceType]解决办法...
只需要在报错位置所在的类上面添加： SuppressWarnings("ResourceType") 即可实现Generate signed apk。
对话框窗口最大最小化
mfc里，基于对话框的窗口，具有最大最小化的属性设置。在Border属性里选择Resizing，然后在Maximize和Minimize中选择true。在窗体当中随便拖几个控件，然后运行，此时点击最大化会发现，整个窗体的大小是变大了&…
4场直播，哈工大、亚马逊等大咖为你带来机器学习与知识图谱的内容盛宴
机器学习和知识图谱是当今技术领域的热门话题，随着相关技术的不断发展，无论是对两类技术单独的探讨，还是将机器学习和知识图谱相结合的尝试，都在吸引越来越多的关注。5月16日下午，来自亚马逊、墨奇科技、Second State、…
【失败的尝试】C++中使用string进行switch判断
贴出错误代码： #include <iostream>#include <string>using namespace std;void main(){ string str; cin>>str; switch(str) { case "ab": cout<<"one"<<endl; break; case &…
springmvc 拦截器、国际化、验证
2019独角兽企业重金招聘Python工程师标准>>> springmvc 拦截器 继承了HandlerIntercepter的类可以作为拦截器类： package com.yawn.intercepter;import javax.servlet.http.HttpServletRequest; import javax.servlet.http.HttpServletResponse;import o…
由MessageBox和AfxMessageBox的使用异同所感
我记得刚开始学图形界面编程的时候，接触的最早的一个函数应该就是MessageBox,之前都一直是控制台程序，突然能运行蹦出一个对话框感觉还是很新鲜的。当时还利用MessageBox写一些恶搞程序，利用上面的yes or no 按钮进行判断等等。但是说实话感觉…
iRobot的30年成长史
作者 | Colin Angle译者 | 苏本如，编辑 | 郭芮题图视觉中国出品 | AI科技大本营（ID：rgznai100）建造一个漫游者，把它送上月球，出售电影版权。这是我们在1990年开始iRobot时的第一个商业模式，我们…
iPhone开发:通过NSURLRequest获得服务器返回的http header和http status
HTTP连接的头信息包括在NSHTPURLResponse类中。如果你拥有一个NSHTTPURLResponse变量，你可以通过发送allHeaderFields信息，轻而易举地获取以NSDictionary形式保存的头信息。对于一个同步请求 – 由于会引发阻塞所以不推荐使用 – 是很容易初始化一个NSHT…
今天开始记录自己苹果开发博客旅程!~
做ios开发也蛮久了，现在才想到要自己开个博客，然后记录点自己平时工作学习中遇到的各种问题以及解决后的心得。现在公司的app第一个版本已经上线了，更加期待以后的发展和更迭。还记得刚进公司接受项目时那种忐忑不安的心理，现在想…
一步一步实现扫雷游戏（C语言实现）(三)
使用WIN32API连接窗口 此项目相关博文链接 一步一步实现扫雷游戏（C语言实现）(一） 一步一步实现扫雷游戏（C语言实现）(二) 一步一步实现扫雷游戏（C语言实现）(三) 一步一步实现扫雷游戏（…
关于模态对话框和非模态对话框的创建、显示，以及和父对话框的传值
当然网上关于这方面的技术博文非常多，此处我只是进行一下小记，再加一点自己的体会，方便以后查询。 一、模态对话框 1.创建及显示 模态对话框是一种阻塞式的对话框，即没有处理完该对话框，不能对其他地方进行操作。比…
《评人工智能如何走向新阶段》后记（再续25）
415，开发近红外光激发的纳米探针，监测大脑深层活动，理解神经系统功能机制。 开发、设计电压敏感纳米探针一直是个技术难关。 群体神经元活动的在体监测是揭示神经系统功能机制的关键。 近日《美国化学会志》期刊报导一项新的研究成果&…
sftp 限制用户登陆指定目录(家目录)
sftp 限制用户登陆指定目录(家目录)本文源地址http://blog.chinaunix.net/uid-42741-id-3069880.html即限制 sftp 用户登陆后，只能在家目录下活动，不能到其他或上级目录该功能需要4.8以上版本[rootbackup ~]# ssh -VOpenSSH_5.3p1, OpenSSL 1.0.1e-fips …
C#多线程学习
任何程序在执行时，至少有一个主线程。在.net framework class library中，所有与多线程机制应用相关的类都是放在System.Threading命名空间中的。如果你想在你的应用程序中使用多线程，就必须包含这个类。 Thread类有几个至关重要的方法&#x…
开启一个新的终端并执行特定的命令
我的项目中有利用到远程控制，从windows端远程控制linux端，那么也就是接收远程的命令并在本机执行并返回结果。在父进程中用到popen()函数，popen()函数通过创建一个管道，调用fork()产生一个子进程，执行一个shell以运行命…
《评人工智能如何走向新阶段》后记（再续26）
427，SNN机理性测试 SNN利用时空处理，脉冲稀疏性和较高的内部神经元带宽来最大化神经形态计算的能量效率。尽管可以在这种情况下使用常规的基于硅的技术，但最终的神经元突触电路需要多个晶体管和复杂的布局，从而限制了集成密度。论…
Android5.1.1源码 - zygote fork出的子进程如何权限降级
前言 如果不知道zygote是什么，或者好奇zygote如何启动，可以去看老罗的文章： Android系统进程Zygote启动过程的源代码分析所有Android应用进程都是zygote fork出来的，新fork出来的应用进程还保持着root权限，这显然是不被…
system函数
转载自此处 相关函数 fork，execve，waitpid，popen 头文件#includ”stdlib.h” 定义函数 int system(const char * string); 函数说明 system()会调用fork()产生子进程，由子进程来调用/bin/sh-c string来执行参数string字符串…