性价比超高：苹果发布了新数据集，助力室内场景理解
作者：刘媛媛
来源：数据实战派
前言
计算机视觉界一直渴望能够找到一种方法，让计算机和人们都能够理解室内场景的复杂性。
对于许多基本的场景理解任务，很难或不可能从真实图像中获得每像素地面实况标签。
一部分研究人员选择通过使用交互式的模拟环境建立没有真实标签的合成数据集，推动了对整体环境理解研究的快速发展。
然而，现有的合成数据集和模拟器具有一些局限性，无法满足研究者的要求，存在的问题主要有：
合成数据集是由非公开的 3D 模型产生的，并且不提供渲染时所使用到的底层三维资源。这类数据集的用途非常有限，因为它们缺少几何学习问题所需的重要信息，例如网格形式的三角形或其他几何类型。
合成数据集通常无法在其数据中提供语义分段。这意味着这些片段虽然将像素组合在了一起，但在语义上却不是有意义的一组对象。这类数据集还缺乏使得计算机程序或人们理解哪些集群更加重要的能力。
大多数的合成数据集和模拟器都没有将图像分解成独立的光照组件和着色组件，这使得它们不能够用于研究反向渲染的问题。没有任何现成的合成数据集或模拟器能够解决所这些问题，包括那些为了更好地理解室外场景而开发的数据集。
Hypersim介绍
为了解决目前合成数据集的这些问题，苹果的研究人员开发了一个名为 “Hypersim” 的数据集，它是一种用于整体室内场景理解的照片级合成数据集。数据集介绍论文题为 Hypersim: A Photorealistic Synthetic Dataset for Holistic Indoor Scene Understanding （“数据实战派”后台回复 “appledata” 获取论文下载链接）。
图1.从Hypersim数据集中随机选择的图像。
从 Hypersim 数据集中随机抽取几幅图像，由图 1 可以看出该数据集中的场景是非常多样的。
为了创建 Hypersim 数据集，苹果公司的研究人员使用了由专业艺术家创建的大量合成场景库，并且采用的视图采样启发式算法生成信息丰富的视图，使得 Hypersim 数据集不需要对场景进行语义标记。苹果公司的研究人员一共生成了 461 个室内场景的 77400 张图像，并且带有详细的像素标签和相应的地面真实几何图形信息。
图2 Hypersim数据集中的信息
Hypersim 数据集中每幅图像都具有额外的公开信息，例如如图2所示，对于每个彩色图像（ a ）， Hypersim 数据集中都具有以下信息：深度（ b ）；表面法线（ c ）；实例级语义分割（ d ， e ）；漫反射系数（ f ）；漫射照明（ g ）以及非漫反射残余图像，光泽表面和镜面反射高光（ h ）。其中，数据集中的漫反射、漫照明和非漫反射残差层存储为 HDR 格式，可以通过组合精确的重建原彩色图像。
Hypersim数据集可以提供具有高分辨率纹理和动态照明的真实3D场景
Hypersim 数据集除了对所有图像进行密集的逐像素语义实例分割外，还包含了每个图像的完整场景几何、材料和照明信息。这些特点使 Hypersim 数据集非常适合用于需要直接 3D 监督的几何学习问题、需要在多个输入和输出模式上联合推理的多任务学习问题以及逆向渲染问题。
苹果的研究人员从场景、对象和像素级别分析了 Hypersim 数据集，并在资金、注释工作和计算时间等方面分析了 Hypersim 数据集生成成本，在这一点上，他们又有惊人发现：从零开始生成整个数据集是可能的，而且其成本大约是训练最先进的自然语言处理模型的一半，用来生成数据集的所有代码都可以在线获得。
在论文中，苹果团队将这一新的数据集与以前的室内场景理解数据集和模拟数据进行了详细比较。这些数据集可以大致分为真实数据集（即基于真实传感器的三维网格重建）、合成数据集和模拟数据（即艺术家创建的），并按时间顺序在每个类别中进行排序。
如上图所示，Hypersim 是第一个包括图像、 3D 资源、语义实例分割和分解图像表示的数据集。
下图是该数据集的 computational pipeline 的主要步骤简化图。可以看到，这个 pipeline 将三角形网格、定义相机姿势和 V-ray 场景描述文件作为输入，并生成一组带有 ground truth 值标签和相应几何体的图像作为输出。主要步骤为首先估计场景中的自由空间，使用此估计生成无碰撞摄影机轨迹，修改 V-ray 场景以包含轨迹，并调用云渲染系统渲染图像。与 pipeline 的其余部分并行的是，使用交互式工具注释场景的三角形网格。在后处理步骤中，将网格注释到渲染图像（未显示）。视图采样启发式算法可以生成信息丰富的视图，而不需要对场景进行语义标记。这种 pipeline 设计使团队能够在网格注释完成之前渲染图像，还能重新注释场景（例如使用不同的标签集），而无需再次渲染图像。
在论文中，研究团队表示，相信 Hypersim 这个数据集可以帮助相关的研究者在一系列计算机视觉问题上取得进展。
例如，由于数据集中的图像具有很高的照片真实感，因此这个数据集还可以为 sim2real 传输问题带来新的见解和观点。最后，这项研究除了贡献了这一特定数据集之外，苹果也看到了真实照片合成数据在计算机视觉中的许多潜在应用，相信未来还有大量机会可供研究者共同设计渲染算法和学习算法，以更有效地分摊数据集开发过程中的渲染成本。
往
期
回
顾
新闻
程序员门槛再被“神器”降低
转载
让汽车进入 iPone 时代！
技术
双足机器人完成 5km 慢跑
新闻
英伟达推出全球首个元宇宙平台
分享
点收藏
点点赞
点在看
相关文章：
42. fastjson处理下划线和驼峰问题的方法和源码分析
一. 前言 在开发过程中经常遇到json解析和生成的问题，所以用自己也一直用fastjson来实现这个功能。 但是，最近遇到一个问题: json字符串里面的数据很多都是"_"下划线的比如，op_id。 而在java里面，很多都是驼峰的写法&…
Cacti Weathermap添加主机在线状态图示检测
Weathermap 中文名称翻译为 气象图weathermap版本支持：0.94及最新版1、首先添加气象图 图例像这样。编辑需要添加图例的气象图配置文件 (气象图配置文件默认在/var/www/html/plugins/weathermap/configs/ 目录中)其中 KEYPOS指定全局图例名称以及 图例位置和 图例标…
jquery技巧总结
一、简介1.1、概述随着WEB2.0及ajax思想在互联网上的快速发展传播，陆续出现了一些优秀的Js框架，其中比较著名的有Prototype、YUI、jQuery、mootools、Bindows以及国内的JSVM框架等，通过将这些JS框架应用到我们的项目中能够使程序员从设计和书…
Unet网络实现叶子病虫害图像分割
作者|李秋键 出品|AI科技大本营(ID:rgznai100) 智能化农业作为人工智能应用的重要领域，对较高的图像处理能力要求较高，其中图像分割作为图像处理方法在其中起着重要作用。图像分割是图像分析的关键步骤, 在复杂的自然背景下进行图像分割, 难度较大。 在传…
SilverLight 4页面跳转大全
http://blog.csdn.net/lihaiyin/article/details/5674766 //Silverlight页面的跳转 //(Application.Current.RootVisual as IContent).Content new DragControl(); //普通页面跳转 HtmlWindow html HtmlPage.Window; //html.Navigate(new Uri("http://www.0379zd.co…
Linux 性能监控常用命令
工具简单介绍top查看进程活动状态以及一些系统状况vmstat查看系统状态、硬件和系统信息等iostat查看CPU 负载，硬盘状况sar综合工具，查看系统状况mpstat查看多处理器状况netstat查看网络状况iptraf实时网络状况监测tcpdump抓取网络数据包，详细…
jquery 1.6以上版本 全选
2019独角兽企业重金招聘Python工程师标准>>> <html xmlns"http://www.w3.org/1999/xhtml"> <head><title>全选，不全选，反选</title><script src"jquery.js" type"text/javascript"…
想提高代码水平，做到这点就够了
【CSDN 编者按】本篇文章来自于《程序员》杂志的一位老读者，他从大学时最深刻的记忆谈起，到编程路上的心得体会，再到对广大年轻程序员的建议，全篇娓娓道来，希望能对大家有所帮助。作者 | 姜宁 华为开源能力中心技术专…
modified: xxx(modified content, untracked content)
from:://http://blog.csdn.net/huguohu2006/article/details/7045052 提交代码到服务器后发现git clone下来的有些目录是空的。 查看服务器的目录果然是空的。看本季git add . 后查看git status modified: xxx(modified content, untracked content) 大概意思是xxx目录没有…
一些JSON相关的函数
JSON作为一种轻量的数据传输格式，越来越受到人们的青睐。下面是我仿照Prototype的一些实现。 JSONFilter:/^///*-secure-([/s/S]*)/*///s*$/, unfilterJSON:function(json,filter) { return json.replace((filter || dom.JSONFilter), function(a,b){ return b |…
太任性！17 岁少年买不到回国机票，因“泄愤”攻击航司系统，被判刑 4 年
整理 | 王晓曼出品 | 程序人生（ID：coder _life）因买不到回国机票，一气之下，身处境外的17岁少年陈某竟多次、持续攻击某航空公司计算机系统，致使该航空公司对外服务网络全面瘫痪近四小时，5000余万…
hbase2.0.0-安装部署
依赖hadoop 环境，我这边的版本是hadoop-2.6.5 选择hbase2.0.0版本的时候，去官网查看支持的hadoop版本 1、伪分布式安装 下载：http://mirror.bit.edu.cn/apache/hbase/2.0.0-alpha4/ 版本：hbase-2.0.0-alpha4-bin.tar.gz 2、tar -z…
Git详解之二 Git基础
Git 基础 读完本章你就能上手使用 Git 了。本章将介绍几个最基本的，也是最常用的 Git 命令，以后绝大多数时间里用到的也就是这几个命令。读完本章，你就能初始化一个新的代码仓库，做一些适当配置；开始或停止跟踪某些文件…
一致性哈希(Consistent Hashing)
在大型web应用中，缓存可算是当今的一个标准开发配置了。在大规模的缓存应用中，应运而生了分布式缓存系统。分布式缓存系统的基本原理，大家也有所耳闻。key-value如何均匀的分散到集群中？说到此，最常规的方式莫过于hash…
CT片居然可以这么玩：用头部CT断层扫描片复原三维头像
作者：天元浪子 来源：Python作业辅导员前言CT是现代医学影像的主力设备，寻常百姓并不陌生。通常，一张CT片由多张连续断层扫描的图像组成。在医生眼中，CT片展示了人体器官的形态和性质，是判断病人健康状况的重…
Nginx学习笔记（一） Nginx架构
Nginx全程是什么？ Nginx ("engine x") 是一个高性能的 HTTP 和 反向代理 服务器，也是一个 IMAP/POP3/SMTP 代理服务器。 daemon守护线程 nginx在启动后，在unix系统中会以daemon的方式在后台运行，后台进程包含一个master…
PXE实现批量部署linux系统
pxe批量部署linux服务器1、pxe介绍PXE是有intel设计的协议，它可以使计算机通过网络启动，协议分为client和server两端，PXEclient在网卡的ROM中，当计算机引导时，BIOS把PXE client调入内存中执行，并显示出命令…
首场见习挑战赛倒计时3天！20000元奖学金瓜分就等你了！
CSDN软件开发精英赛是基于“C认证—软件工程师能力认证考试”而设立的编程比赛，大赛联合广大科技企业设置丰厚礼品及30万元奖学金。从7月22日官宣到今日，短短一个月内，大赛已经吸引了来自全国的2000＋开发者参与其中。第一轮“见习…
一致性哈希算法以及其PHP实现
在做服务器负载均衡时候可供选择的负载均衡的算法有很多，包括： 轮循算法（Round Robin）、哈希算法（HASH）、最少连接算法（Least Connection）、响应速度算法（Response Time…
Linux入门（四）
目录： 1234567891011121314一、根文件系统层级标准FHS二、bash的基础特性（一）1.命令历史 2.命令行补全 3.路径补全 4.命令行展开 5.命令执行的状态结果 6.引用 7.快捷键 三、目录管理相关命令mkdir、rmdir、tree四、引用命令的执行结果五、文…
OSI[七层]与TCP/IP[四层]模型简述简图
OSI参考模型（OSI/RM）的全称是开放系统互连参考模型（Open System Interconnection Reference Model，OSI/RM），它是由国际标准化组织（International Standard Organization，ISO…
中国国际消费电子博览会拥抱转型，全新面貌拭目以待！
2021年9月24—26日，第十九届中国国际消费电子博览会（简称电博会）将在青岛国际会展中心隆重举行，如今距离电博会开幕已不到3个月的时间，全国各地的参展企业跃跃欲试、积极筹备。 长久以来，电博会为全球消费…
Fragment提交transaction导致state loss异常
下面自从Honeycomb发布后，下面栈跟踪信息和异常信息已经困扰了StackOverFlow很久了。 java.lang.IllegalStateException: Can not perform this action after onSaveInstanceState at android.support.v4.app.FragmentManagerImpl.checkStateLoss(FragmentManager.j…
ASP网络编程从入门到精通 下载
《ASP网络编程从入门到精通》 清华大学出版社 特点： 面向ASP零基础读者，循序渐进 全面分析ASP技术细节 用代码描述个个知识点，操作性强 通过典型模块设计，体会ASP的奥妙 通过网上商城购物系统，增加项目开发经验 适合的…
项目Makefile文件模板
整理出来的一个Makefile模板,新增了一个内容,调用gcc生成依赖文件,这样如果某个c文件包含的头文件被更新了,该c文件以及依赖于该c文件的obj文件都会被重新编译.这个模板是按照我习惯的项目文件组织形式进行定义的,我的习惯是头文件放在include文件夹,代码放在src文件夹,目标文件…
小撒、金晨都想拥有！百度全球首款汽车机器人亮相，车内躺着看星星
整理 | 禾木木 出品 | AI科技大本营（ID:rgznai100） 金晨坐了都想带回家的车、无人车出行服务、撒贝宁与祝融号对话等等。 这届百度世界大会真的很惊艳。 8月18日，百度与央视新闻联合举办“AI这时代，星辰大海——百度世界大会2021…
解决oracle11g安装导致数据库无法自动搜集统计信息-转
近期发现个别11G数据库无法自动收集统计信息，部分视图查询结果如下： SQL> select client_name,status from dba_autotask_client where client_name auto optimizer stats collection;CLIENT_NAME STATUS -----------------------------------------…
服务器监控--cacti中英文版安装全解
近段时间一直在整服务器监控方面的东西,以下就是cacti中英文版安装的全过程,各安装包基本都是最新的,基于Centos 5.2平台下安装的!!#!/bin/bash# BY kerryhu# QQ:263205768# MAIL:king_819163.com# BLOG:[url]http://kerry.blog.51cto.com[/url]# Please manual operation yum …
lighttpd1.4.18代码分析
lighttpd1.4.18代码分析(八)--状态机(2)CON_STATE_READ状态posted 2008-09-24 10:50 那谁 阅读(2225) | 评论 (1) 编辑 lighttpd1.4.18代码分析(七)--状态机(1)CON_STATE_REQUEST_START状态posted 2008-09-22 15:10 那谁 阅读(2259) | 评论 (0) 编辑 lighttpd1.4.18代码分析…
惊艳亮相！马斯克发布自研超算 Dojo 芯片、特斯拉人形机器人
编译 | 禾木木 出品 | AI科技大本营（ID:rgznai100） 北京时间 8 月 20 日，特斯拉 AI 日终于开始了！在活动上不仅推出自研计算机系统Dojo 及 D1 芯片，同时还推出了特斯拉的下一个大型项目：人形机器人&#x…