AI换脸技术再创新高度，DeepMind发布的VQ-VAE二代算法有多厉害？
作者 | beyondma
转载自CSDN网站
近日DeepMind发布VQ-VAE-2算法，也就是之前VQ-VAE算法2代，这个算法从感观效果上来看比生成对抗神经网络（GAN)的来得更加真实，堪称AI换脸界的大杀器，如果我不说，相信读者也很难想象到上面几幅人脸图像都是AI自动生成出来的。
不过如此重要的论文，笔者还没看到专业性很强的解读，那么笔者就将VQ-VAE-2算法分为VQ,VAE,VQVAE2三部分来介绍原理，权当抛砖引玉。
什么是VQ
VQ是vector quantisationk（一般译作矢量量化）的缩写，他的主要思想是通过k-means算法进行聚类，将相近的点全部近似点簇的重心，从而在不损失太多信息的情况下对输入进行压缩。
k-means聚类算法：我在之前博客《终于把软微BING搜索-SPTAG算法的原理搞清了（https://blog.csdn.net/BEYONDMA/article/details/90578111）
也曾经介绍过k-means算法。算法先随机指定选取K个点做为初始聚集的簇心,分别计算每个样本点到 K个簇核心的余弦距离，找到距离最近的核心点，将它归属到对应的簇，所有点都归属到簇之后， M个点就分为了 K个簇。之后重新计算每个簇的重心，将其定为新的“核心”，重复上述步骤直到新核心不再改变为止或者改变距离达到一定值后中止。那么最终的K个簇就是最终的聚类结果。
k-means算法试图最小化失真，其定义为每个观测向量与其主质心之间距离的平方之和。通过迭代地将观测结果重新分类为星系团，并重新计算中心体，直到得到一个中心体稳定的构型，从而达到最小值。
那么VQ实际就是先把输入的图像进行-means聚类，完成后只保留最终留下的K个簇质心，簇上的其它点全部近似化为质心来进行存储，用这样的方式来进行压缩。
什么是VAE
VAE是variational auto encoding（一般译作变分自动编码），不过笔者感觉译为隐变更自动编码可能更贴切。VAE的主要思想是他认为图像、声音等信息是由多个隐变量（latent arrtibute)，比如对于人的面部图像来说就由笑容，肤色、发色、发型等变量决定，那么VAE网络就先把图像中的笑容，肤色、发色、发型等变量识别出来，然后将这些变量传递给解码器生成图像。具体工作原理图如下：
VQ-VAE1代算法整体的工作方式
简单来讲VQ-VAE1代算法，在Encoder层计算latent arrtibute(隐向量）的向量族z,然后传递给隐层，在隐层按照刚刚所述的VQ算法进行压缩，然后输出给Decoder进行生成，其具体原理见下图。
如果要进行换脸，那么只要将人脸A的Encoder进行编码计算latent arrtibute(隐向量），然后输出给FaceB的Decoder进行生成即可完成。
VQ-VAE2代算法的更新
VQ-VAE2代其实总体和1代差别不大，主要将latent arrtibute(隐向量）分为top和bottom两层，其中top层记录整体细节主要是明亮度、色调等信息，而bottom层主要记录细节信息，从实际效果上看甚至包括了发丝、瞳孔等超级细微的层面。具体原理图如下：
VQ-VAE-2将AI换脸的技术提升到了真假难辩的高度
我在之前的博客《终于把AI换脸的原理搞清了》（https://blog.csdn.net/BEYONDMA/article/details/88365203）曾经介绍过deepfakes等项目的原理，不过之前那些换脸算法对于细节的把握程度远远达不到VQ-VAE-2的程度，从DeepMind的论文中可以看到，其生成效果之好、分辨率之高已经到达了刷新了笔者的认知极限。所以笔者最后也再次呼吁，不要将AI换脸技术用在歪路上。
附件VAVAE2论文原址：
https://arxiv.org/pdf/1906.00446.pdf
原文链接：
https://blog.csdn.net/BEYONDMA/article/details/91129700
（*本文为 AI科技大本营转载文章，转载请联系原作者）
◆
精彩推荐
◆
想跟NVIDIA专业讲师学习TensorRT吗？扫码进群，获取报名地址，群内优秀提问者可获得限量奖品（定制T恤或者技术图书，包邮哦~）
NVIDIA TensorRT是一种高性能深度学习推理优化器和运行时加速库，可以为深度学习推理应用程序提供低延时和高吞吐量。通过TensorRT，开发者可以优化神经网络模型，以高精度校对低精度，最后将模型部署到超大规模数据中心、嵌入式平台或者汽车产品平台中。
推荐阅读
打破欧美垄断，国防科大斩获“航天界奥林匹克”大赛首冠
阿里达摩院SIGIR 2019：AI判案1秒钟，人工2小时
阿里巴巴杨群：高并发场景下Python的性能挑战
50行Python代码教AI实现动作平衡
任正非：华为 100% 没有后门
面试阿里技术岗，竟然挂在第4 轮……
独家对话V神! 质疑之下的以太坊路在何方?
同样是消息队列，Kafka凭什么速度那么快？
漫画：码一代是如何培养码二代的？
你点的每个“在看”，我都认真当成了喜欢相关文章：
cisco设备常用命令
router> enable 从用户模式进入特权模式 router# disable or exit 从特权模式退出到用户模式router# show sessions 查看本机上的TELNET会话router# disconnect …
opencv图像处理梯度边缘和角点
转自：http://blog.sina.com.cn/s/blog_4b9b714a0100c9f7.html 梯度、边缘和角点 Sobel 使用扩展 Sobel 算子计算一阶、二阶、三阶或混合图像差分 void cvSobel( const CvArr* src, CvArr* dst, int xorder, int yorder, int aperture_size3 ); src 输入图像. dst …
性能全面超数据库专家，腾讯提基于机器学习的性能优化系统 | SIGMOD 2019
腾讯与华中科技大学合作的最新研究成果入选了国际数据库顶级会议SIGMOD的收录论文，并将于6月30日在荷兰阿姆斯特丹召开SIGMOD 2019国际会议上公开发表。入选论文的题目为“An End-to-End Automatic Cloud Database Tuning System Using Deep Reinforcement Learning…
swift 语言评价
杂而不精，一团乱麻！模式乱套，不适合作为一门学习和研究语言。 谢谢 LZ 介绍，看完之后更不想用 Swift 了。从 C那里抄个 V-Table 来很先进嘛？别跟 C一样搞什么 STL 就好了，整这么复杂，入个门都需…
Creative Web Typography Styles | Codrops
Creative Web Typography Styles | Codrops. 非常好的文字效果
OpenCV 图像采样 插值 几何变换
转自：http://hi.baidu.com/xiaoduo170/blog/item/6eefc612c9f8e9c6c2fd786f.html InitLineIterator 初始化线段迭代器 int cvInitLineIterator( const CvArr* image, CvPoint pt1, CvPoint pt2, CvLineIterator* line_iterator, int connectivity8 ); image 带采…
centos 6.* 修改时间
一、查看Centos的时区和时间 1、使用date命令查看Centos时区 [rootVM_centos ~]# date -R Mon, 26 Mar 2018 19:14:03 0800 2、查看clock系统配置文件 [rootVM_centos ~]# cat /etc/sysconfig/clock ZONE"Asia/Shanghai" 3、查看系统的硬件时间，即BIOS时间…
别光发Paper，搞点实际问题
文 / LVS话说几个月前，我参加了一场学术大会，台上的教授不是北大、清华就是浙大、上交大，几位教授不约而同的吐槽招通信、算法和编解码的学生太难了。为什么呢？原来，先不比金融，仅仅与同是IT领域的AI专业就…
spring mvc文件上传小例子
spring mvc文件上传小例子 1.jsp页面 <%page contentType"text/html;charsetUTF-8"%> <%page pageEncoding"UTF-8"%> <% taglib prefix"c" uri"http://java.sun.com/jsp/jstl/core"%> <% taglib prefix"fmt…
解密Kernel：为什么适用任何机器学习算法？
作者 | Marin Vlastelica Pogančić译者 | 陆离编辑 | 一一出品 | AI科技大本营（ID：rgznai100）机器学习中Kernel的秘密（一）本文探讨的不是关于深度学习方面的，但可能也会涉及一点儿，主要是因为…
03-Java的基础语法
一个Java程序可以认为是一系列对象的集合，而这些对象通过调用彼此的方法来协同工作。下面简要介绍下类、对象、方法和实例变量的概念。 对象：对象是类的一个实例，有状态和行为。例如，一条狗是一个对象，它的状态有&…
图像处理-仿射变换 AffineTransform
转自：http://fairywangyutang.blog.sohu.com/146834554.html AffineTransform类描述了一种二维仿射变换的功能，它是一种二维坐标到二维坐标之间的线性变换，保持二维图形的“平直性”（译注：straightness，即变…
以前初学php用的分页函数
page.php <?php /* *http://www.iiwnet.com/php/ PHP学习 * */ function _PAGEFT($totle, $displaypg 20, $url ) { global $page, $firstcount, $pagenav, $_SERVER; $GLOBALS["displaypg"] $displaypg; if (!$page) $page 1; if (!$url) { $url $_SERVER[…
深度有趣 | 27 服饰关键点定位
简介 介绍如何使用CPM（Convolutional Pose Machines）实现服饰关键点定位 原理 关键点定位是一类常见而有用的任务，某种意义上可以理解为一种特征工程 人脸关键点定位，可用于人脸识别、表情识别人体骨骼关键点定位，可用…
有答案了！一张图告诉你到底学Python还是Java！你咋看？
2019年，该学Java还是Python？不，实际上应该这样问：都9102年了，难道有谁不想成为Python程序员吗？作为“常青树大佬”Java 和“新晋大佬”Python ，经常被人拿来对比，对于刚开始起步学习…
图像二值化----otsu（最大类间方差法、大津算法）（二）
转自：http://blog.stevenwang.name/ostu-threshold-56002.html OTSU算法也称最大类间差法，有时也称之为大津算法，被认为是图像分割中阈值选取的最佳算法，计算简单，不受图像亮度和对比度的影响，因此在数字图…
android同时使用多个library时的问题
剧情是这样，我的app要使用两个library，如：LibraryA，LibraryB。这两个库又都需要support.v4.jar。 由于加载的时间不同，所以两个support.v4.jar不同，出错的提示如下： [2012-09-28 16:37:22 - ] F…
C#版 - Leetcode49 - 字母异位词分组 - 题解
C#版 - Leetcode49 - 字母异位词分组 - 题解 Leetcode49.Group Anagrams 在线提交:https://leetcode.com/problems/group-anagrams/ 题目描述 给定一个字符串数组，将字母异位词组合在一起。字母异位词指字母相同，但排列不同的字符串。 示例: 输入: [&quo…
来学习几个简单的Hive函数吧！
作者 | 石晓文转载自小小挖掘机（ID:wAIsjwj）咳咳，今天来介绍一下几个Hive函数吧，先放一张我登哥划水的照片，希望大家也做一只自由的鱼儿，在知识的海洋里游呀游，嘻嘻！今天我们来介绍几…
OpenCV编程案例：使用轮廓函数检测连通区域
转自：http://www.aiseminar.cn/bbs/thread-617-1-1.html 此案例位于CXCORE中cvDrawContours函数介绍部分给出。此程序首先载入一个二值图像文件，然后使用函数再次二值化确认。接着使用cvFindContours找到轮廓，然后使用填充方式绘制轮廓线内部…
[译]Web Inspector开始支持CSS区域
最近,开发人员和设计师们可以在WebKit中尝试使用CSS区域特性了,我们认为是时候给他们一些开发工具了.最新版本的Chrome Canary中的web inspector现在已经支持下面这些功能: 查找文档中所有的命名流.显示每个命名流的内容和区域链.高亮页面中的CSS区域,就像是把鼠标放在web insp…
这或许是东半球分析十大排序算法最好的一篇文章
作者 | 不该相遇在秋天转载自五分钟学算法（ID:CXYxiaowu）前言本文全长 14237 字，配有 70 张图片和动画，和你一起一步步看懂排序算法的运行过程。预计阅读时间 47 分钟，强烈建议先收藏然后通过电脑端进行阅读。No.1 冒泡…
opencv使用cvFindContours提取联通域
转自：http://hi.baidu.com/irmosgarden/blog/item/8ce0174c54b307fad72afcbc.html // m_imgFeature为黑白目标图像，白色为前景，黑色为背景 // 注意此函数会修改m_imgFeature内容。若其不可更改，应另建立副本 // 1. count contou…
朱晔的互联网架构实践心得S1E9：架构评审一百问和设计文档五要素
朱晔的互联网架构实践心得S1E9：架构评审一百问和设计文档五要素 【下载文本PDF进行阅读】 本文我会来说说我认为架构评审中应该看的一些点，以及我写设计文档的一些心得。助你在架构评审中过五关斩六将，助你写出能让人收藏点赞的设计文档。 技…
Mail Archiving Expert电子邮件归档专家
概况作为企业往来最通用的交流工具，企业中有95%以上的文件都是通过邮件来传递与沟通，但是一旦当邮件服务罢工，影响的不仅仅是企业信息交流无法正确与及时的传达，更可能影响企业与客户之间的交易，其后果更是不堪设想&am…
C++中MessageBox的常见用法
转自：http://blog.csdn.net/qiumingbo/archive/2007/05/25/1625324.aspxMessageBox用法消息框是个很常用的控件，属性比较多，本文列出了它的一些常用方法，及指出了它的一些应用场合。1.MessageBox("这是一个最简单的消息框&am…
对标Mobileye！百度Apollo公布L4级自动驾驶纯视觉解决方案Apollo Lite
美国当地时间6月16日-20日，全球计算机视觉及模式识别领域顶级学术会议CVPR 2019（Conference on Computer Vision and Pattern Recognition）于美国长滩召开。百度Apollo在CVPR 2019公开了自动驾驶纯视觉城市道路闭环解决方案--百度Apollo Lite…
后台服务项目的白盒测试之旅
本文来自阿网易云社区作者：孙婷婷白盒测试起因17年下半年我开始介入部门新项目的服务v2版本的功能测试。刚接手项目时，感到十分头疼，首先它不像我刚接触测试时做的to C端项目，主要是页面展示操作，黑盒测试足够…
【自然框架 NatureFW】里的两种“映射”方式
自然框架里面采用了两种映射关系，一个是流行的ORM，另一是非主流的“CCM ” （我自己想的，呵呵）。 先说一下ORM。ORM是O和R的映射关系。也看到很多人写关于ORM的文章，发现好像有个误区。这个误区就是&#x…
ordfilt2函数功能说明
转自：http://www.ilovematlab.cn/thread-91331-1-1.html ordfilt2函数在MATLAB图像处理工具箱中提供了二维统计顺序滤波函数ordfilt2函数。二维统计顺序滤波是中值滤波的推广，对于给定的n个数值｛al ,a2,...,an｝，将它们…