AI做不了“真”3D图像？试试Google的新生成模型
编译 | 若名
出品 | AI科技大本营
用 AI 生成逼真三维物体模型并不像人们以为的那么困难。
近日，在 NeurIPS 2018 会议上接收的论文“ 视觉对象网络：图像生成与分离式的3D表示”中，麻省理工学院计算机科学与人工智能实验室（MIT CSAIL）和 Google 的研究人员介绍了能创造出有逼真纹理和形状的一个生成式 AI 系统。
该系统是视觉对象网络（VON）系统，不仅可以生成比某些最先进的方法更真实的图像，还可以进行形状和纹理编辑、视点转换以及其他三维调整。
“现代深层生成模型学会了合成逼真的图像，”研究人员写道，“但大多数计算模型只专注于生成 2D 图像，而忽略了 3D 世界的美好......这种视角不可避免地限制了它们在许多领域的实际应用，例如合成数据生成、机器人学习、虚拟现实和游戏行业。”
视觉对象网络系统则可以通过合成三维形状和二维图像来解决这个问题，类似于研究人员所称的“分离式的对象表示”。图像生成模型被分解为三种因素：形状、视点和纹理，另外，在计算“2.5 D”草图和添加纹理之前，它需要学习合成三维形状。
重要的是，由于这三个因素是条件独立的，所以模型不需要二维和三维形状之间的配对数据。这使得团队能够在大规模的二维图像和三维形状集上进行训练，如 Pix3D，Google 图像搜索和ShapeNet，后者包含 55 个对象类别的数千个 CAD 模型。
为了让 VON 系统学习如何生成自己的形状，该团队在上述三维形状数据集上训练了一个生成式对抗网络（GAN） 。而纹理生成被归类了到另一个基于 GAN 的神经网络。
经过大约两到三天的训练，AI 系统始终如一地生成了令人信服的 128 x 128 x 128 模型，具有优异的反射率、环境照明和反照率（一种漫射光的度量）。
为了评估图像生成模型，团队计算了用于生成三维模型的 Fréchet Inception Distance（弗雷歇初始距离，FID）——一种与人类感知相关的度量。此外，他们还向亚马逊 Mechanical Turk 上的五名测试者展示了由 VON 和其他最先进模型生成的 200 对图像，这些受试者需要在这些图像中选择更真实的结果。
VON 的表现非常出色。它与所有 AI 模型相比具有最低的 FID 值，并且 Mechanical Turk 的受访者表示更喜欢 VON 生成的 74％ 到 85％的图像。
研究人员未来将专注于从粗糙到精细化的建模，以产生更高分辨率的生成形状和图像，并将纹理分解为光照和外观（lighting and appearance），并合成自然场景。
“我们的主要想法是将图像生成过程分解为形状、视点和纹理三种因素，”Google 团队写道，“这种分离式 3D 表示使我们能够在对抗学习框架下从 3D 和 2D 视觉数据集合中学习模型。与现有的 2D 生成模型相比，我们的模型合成了更逼真的图像，它还可以做到以前的 2D 方法也无法实现的各种 3D 操作。”
近年来，GAN 的研究突飞猛进，特别是在机器视觉领域。
Google 的 DeepMind 子公司在 10 月推出了一个基于 GAN 的系统，以此创建出令人信服的食物、风景、肖像和动物照片。9 月， Nvidia 的研究人员开发了一种 AI 模型，可以生成脑癌的合成扫描图像，8 月，卡内基梅隆大学的一个团队 演示了 AI 可以将人们已存的动作和面部表情转换成另一张照片或视频中的目标对象。最近，爱丁堡大学感知研究所和天文学研究所的科学家设计了一种至少可以产生高分辨率星系图像的 GAN。
论文链接：
http://papers.nips.cc/paper/7297-visual-object-networks-image-generation-with-disentangled-3d-representations.pdf
原文链接：
https://venturebeat.com/2018/12/04/google-ai-generates-images-of-3d-models-with-realistic-lighting-and-reflections/
本文为 AI科技大本营编译文章，转载请联系微信 1092722531。
菜单升级啦，一键直通CSDN会员服务。你关心的开发问题，这里都有答案！
搜索：开发疑难/资源一键查找，搜遍CSDN全站
会员购买：专属VIP购买，免积分下载/免广告/获免费课程
下载APP：安装CSDN APP，CSDN资源随身带
个人中心：掌上CSDN个人助手，专属您的个人空间
◆
精彩推荐
◆
由CSDN学院重磅打造的「人工智能工程师实战班」来了！约用百天时间帮助你成为高端人工智能开发工程师的系统课程，更有知名企业推荐就业机会，帮你百天挑战薪资翻倍！扫码沟通一对一职场规划！
推荐阅读
杨超越的声音+高晓松的脸~如此酸爽的技术，你值得拥有！
华为青年研究员获NeurIPS最佳论文奖：4856篇投稿，仅有21%录取率
阿里全盘调整组织架构意味着什么？| 畅言
Spring事务你可能不知道的事儿
盘点|一文读懂11个主流共识算法, 彻底搞懂PoS,PoW,dPoW,PBFT,dBFT这些究竟是什么鬼
程序员眼中的能者多劳，是「坑」么？
请问你写bug吗？我全要！
相关文章：
linux内核异常分析ecp,内核基于嵌入式Linux的PocketIX系统
lgms2008 于 2006-10-20 10:38:55发表:应用领域与前景目前PocketIX只是一个预览版，其正式版本不仅可以广泛应用于移动计算平台(PPC)、 家庭信息环境(机顶盒、数字电视)、 工业、商业控制(智能工控设备、POS/ATM机)等信息家电上，还可应用于与Internet相联…
sharepoint性能优化
写几个配置，提高sharepoint性能的。主要思路是提高sql的查询能力，提高iis的硬件占用资源。 1、sql配置，管理器，点属性。配置最大工作线程数，勾选提升SQL server的优先级。配置后，重启sql服务，查…
倒计时1天，2018中国大数据技术大会报名通道即将关闭（附参会提醒）
2018 年12 月 6-8 日，由中国计算机学会主办，CCF大数据专家委员会承办，CSDN、中科天玑数据科技股份有限公司协办的 2018 中国大数据技术大会（BDTC），携主题“大数据新应用”再度强势来袭，直击大数…
DNN module.css文件不起作用的解决
DNN的模块会自动加载模块根目录下的module.css文件，但有时你加入了一个module.css文件，却发现加入的module.css文件没有被加载，这是为什么呢？ 因为DNN的Cache机制和CSS加载机制，新加入的module.css没有立即被加载&…
搭建redis给mysql做缓存
安装redis的前提是lnmp或者lamp的环境已经搭建完成。 安装redis 1、安装redis（或可以选择yum安装） 123456789101112[rootredis ~]# wget -c -t 0 http://download.redis.io/releases/redis-2.8.19.tar.gz[rootredis ~]# mkdir /usr/local/redis[rootredi…
小米发力AI场景下的“快应用”，投百亿资源扶持开发者
近日，备受瞩目的2018 MIDC小米AIoT第二届开发者大会在京召开，雷军宣布AIloT是小米的核心战略，小米将和合作伙伴一起打造AIloT的美好明天。另外，大会还宣布了小米与宜家达成全球战略合作，宜家全系智能照明产品都将接入小…
arcgis 投影变换与坐标转换研究
arcgis 投影变换与坐标转换研究 1 ArcGIS中的投影方法 投影的方法可以使带某种坐标信息数据源进行向另一坐标系统做转换，并对源数据中的X和Y值进行修改。我们生产实践中一个典型的例子是利用该方法修正某些旧地图数据中X,Y值前加了带数和分带方法的数值。 字串9 操…
linux lvm 大小与硬盘大小关系,linux lvm扩容磁盘大小
关闭需要扩容的虚拟机，并通过管理虚拟机界面添加磁盘空间，本次调整50G注意，本次写入为增加容量的大小，并非增加完硬盘的大小硬盘添加后可以用fdisk -l 查看磁盘容量大小，可以看到硬盘增加了50G ，但是由于没…
无人驾驶汽车系统入门：基于VoxelNet的激光雷达点云车辆检测及ROS实现
作者 | 申泽邦（Adam Shan）兰州大学在读硕士研究生，主要研究方向无人驾驶，深度学习；兰大未来计算研究院无人车团队负责人，自动驾驶全栈工程师。之前我们提到使用SqueezeSeg进行了三维点云的分割，…
EX2010与EX2013共存迁移01-设计及说明
1.1共存条件说明 2013年之前发布的Exchange 2013版本是不支持共存的，只有在2013年4月2日发布的Exchange 2013 CU1版才支持共存，Exchange 2010必须为SP3版本才支持和2013共存及迁移，Exchange2003不支持和2013共存及迁移。下面是详细的共存说明…
linux ext4增加大小,如何修改 ext4 文件系统的大小
如何修改 ext4 文件系统的大小a. 扩大文件系统i启动到 Linux,umount 掉/dev/sdb1 和/dev/sdb2,若提示磁盘忙的话使用fuser 将正在使用磁盘的程序 kill 掉。(推荐使用另外的 Linux 启动盘来引导系统)ii使用 fdisk /dev/sdb 调整分区大小,进去之后,输入 p,记下要扩大分区起始位置…
Silverlight初级教程-开发工具
Silverlight初级教程 开发工具 在silverlight越来越流行的同时有很多的供应商开始筹划制作编辑和设计silverlight的工具。现在最常见的设计和开发工具是：Visual Studio 2008Visual Studio是微软整合的集成开发环境。截止此时Visual Studio 2008已经提供了编辑和预览…
201671010128 2017-11-12《Java程序设计》之图形程序设计
一、基本概念 Java的抽象窗口工具箱（Abstract Window Toolkit, AWT)包含在java.awt包中，它提供了许多用来设计GUI的组件类和容器类。AWT库处理用户界面元素的方法：把图形元素的创建和行为委托给本地GUI工具箱进行处理。应用AWT编写依赖于本地…
linux线程join的用法,join用法
Join用法- a 1显示第一个文件的不匹配行，- a 2为从第二个文件中显示不匹配行。n.m n为文件号，m为域号。1 . 3表示只显示文件1第三域，每个n，m必须用逗号分隔，如1 . 3，2 . 1。# cat name.txtM.Golls 12 Hi…
vss使用注意事项
连接方式 局域网方式连接 Internet 方式连接 在局域网方式连接时，需要输入自己的 vss 登陆帐号，账号可以通过管理器，自己在 vss 系统中注册； Internet 连接时默认使用的是 vss 中的 administrator 账号； 请大家都使用自…
沈向洋、黄学东等大咖助阵，IoT in Action微软深圳物联网大会即刻报名
每当海聊黑科技，总会有种恍然隔世的幻觉自动驾驶、无人配送、刷脸支付、智能翻译……物联网、人工智能、智能边缘等等新技术正在快速变得实用并普及怀疑论者还秉持观望，深怕技术布道之嫌而我们的现实中已经切实听见他们落地的声音因为“未来已经来临&…
centos6上以二进制方式安装mariadb5.5
准备mariadb-5.5.57-linux-x86_64.tar.gz二进制程序包 此包是经过编译的，也就是说我们要在特定的目录下安装； 步骤1、准备mysql用户 mkdir /app/data #此目录是存放mysql数据库、表的 useradd -r -m -d /app/data -s /sbin/nologin mysql #创建mysql用户…
“神人”or“闲人”？你的未来由AI与大数据决定
12 月 6 日，北京新云南皇冠假日酒店，由中国计算机学会主办，CCF 大数据专家委员会承办，CSDN、中科天玑数据科技股份有限公司协办的 2018 中国大数据技术大会（BDTC）首日议程圆满结束。本次大会为期三天&#…
linux 获取cpu id,linux获取cpu id和disk id
2013-04-19 15:17 57人阅读 评论(0)// 获得CPU IDpublic static final String CPU_ID_CMD "dmidecode -t 4 | grep ID |sort -u |awk -F: {print $2}";// 获得磁盘IDpublic static final String DISK_ID_CMD "fdisk -l |grep \"Disk identifier\" …
给gridview添加上下移动功能
给gridview添加上下移动功能存储过程代码：CREATE PROCEDURE [sp_trans_dept] now_id int,upside_id intASdeclare tmp_ordering int --临时变量declare sqlstr varchar(1000) --sql语句declare table_name varchar(500)declare column_name varchar(500)set t…
Lucene.Net 2.3.1开发介绍 —— 三、索引（六）
2.2 Field的Boost 如果说Document的Boost是一条线，那么Field的Boost则是一个点。怎么理解这个点呢？设置Document的Boost会影响所有字段。在搜索的过程中，一般至少会搜索两个Field，比如同时搜索标题和内容。而Document的Boost将同时…
linux nor flash 读写,9.2 NorFLASH读写实验——M25PExx
>[danger] 学习本节内容前，请先检查自己手上的开发板是否具备NorFlash存储器，如不具备则可跳过本章节。> ZigBee 标准板：具备> ZigBee MINI板：不具备> ZigBee 网关 & 嵌入式Linux 二合一开发板：具备我…
sql server分布式事务解决方案[新事务不能登记到指定的事务处理器中错误]
< DOCTYPE html PUBLIC -WCDTD XHTML StrictEN httpwwwworgTRxhtmlDTDxhtml-strictdtd> 适用环境 操作系统：windows 2003，xp 数据库：sql server 2000/sql server 2005 使用链接服务器进行远程数据库访问的情况 一、 问题现象 在执行分布…
微软“叛变”谷歌 Chromium！
去年，微软工程师在公开演示 Azure 服务时，微软 Edge 浏览器频频崩溃，逼得他只能在众目睽睽的尴尬局面下，使用 Edge 下载 Chrome 浏览器来继续他的演示。一年之后的今天，Edge 就抱上了 Chrome 的大腿。图片来源…
vCenter Server Appliance 6.5 中重置丢失或忘记的 root 密码
vCenter Server Appliance 6.5 中重置丢失或忘记的 root 密码 目前安装vCenter Server Appliance 6.5客户原来越多，给用户配置过程中，往往会忽略默认的root 密码策略：60天过期。一旦密码过期或忘记密码，vcsa的管理控制台就无法通过…
linux 查看剪贴板历史,Clipboard History Manager插件，查看浏览器剪贴板历史记录
Clipboard History Manager插件，是一款浏览器剪贴板历史记录管理工具，通过它可以快速查看最多1000个本机上的剪贴数据，适用于Mac和Windows操作系统。A full-featured desktop clipboard manager for Mac, Windows and Linux to track what yo…
ORACLE执行计划的一些基本概念
本文介绍了ORACLE执行计划的一些基本概念，供学习应用。 一．相关的概念 Rowid的概念：rowid是一个伪列，既然是伪列，那么这个列就不是用户定义，而是系统自己给加上的。对每个表都有一个rowid的伪列，…
公开课报名 | 那些年，我们在文本分类中遇到的坑
文本分类问题是企业在 NLP 领域中处理文本数据时经常会遇到的一个问题，很多时候，我们需要将文本信息进行分类，或提相关的接口以供外部进行文本上传，在针对于用户所上传的文档信息就需要进行文档内容的分类，那么针对于这…
Cisco网院成立10周年-未来三年在蓉增50所
2008年9月18日—— 今天，主题为“十年创新，传承未来”的Cisco中国网络技术学院十周年庆典在四川成都举行。会上，Cisco宣布将与四川省政府和教育部进一步加强合作，在四川新建立50所Cisco网络技术学院，以实现该项目在四川…
荣耀预装linux安装包,关于华为机子没有预装应用商店讨论
在荣耀笔记本(Linux版)中拥有深度应用商店，几步就搞定啦！在荣耀笔记本(Linux版)中拥有深度应用商店，几步就搞定啦！深度操作系统 今天随着预装深度操作系统(deepin)的荣耀笔记本(Linux版)的开卖(未来可期！荣耀Magicbook…