当前位置: 首页 > 编程日记 > 正文

云从科技3D人体重建技术刷新3项纪录!仅凭照片即可生成精细模型

3 月 19 日,根据官方消息,云从科技基于单帧图像的 3D 人体重建技术同时在 Human3.6M、Surreal 和 UP-3D 三大数据集上创造了最新的世界纪录,将原有最低误差记录大幅降低 30%。


640?wx_fmt=png     

Human3.6M 数据集上对比

640?wx_fmt=png     

Surreal 数据集上对比

640?wx_fmt=png

 UP-3D 数据集上对比


3D 重建领域通常以误差(Error)作为衡量算法能力的主要指标,误差就是生成模型与实际图像的差别。一般来说,误差越低,精度越高,意味着技术的性能越好。


云从称,其 3D 人体重建技术全身精度误差(Surface Error)在 Surreal 上从 75.4 毫米降低到 52.7 毫米,关节精度误差(3D Joint Error)从 55.8 毫米降低到 40.1 毫米,Human3.6M 上的关节精度误差(3D Joint Error)从 59.9 毫米降低到 46.7 毫米,技术的执行速度从之前的上百毫秒降低到仅需 5 毫秒。


与传统关键点检测、3D 重建的区别是什么?


传统的人体关键点检测技术往往以 2D 的人体骨骼关节点检测形式出现,即通过技术预测 RGB 图像中人体的十几个关节点的坐标,一方面结果非常稀疏,将人体大为简化成骨骼的形式,另一方面结果往往只包含二维平面上的坐标预测,不能还原深度信息,因此无法体现纵深的感觉。


而基于单帧图像的 3D 重建技术不仅能输出骨骼关节点信息,更能同时预测大量的人体表面关键点信息,预测结果更加丰富,而且每个点的坐标都是 3D 的,能够体现不同躯干的纵深信息。


640?wx_fmt=png

3D 关键点检测


传统 3D 重建技术大多需要连续的图像序列或是多视角的图像,在硬件设备上一般需要采用双目摄像机或者结构光摄像机等设备,因此在手机等便携设备上往往难以实现;另一方面,专用设备还会增加部署成本,增加大规模普及 3D 重建技术的难度。


上述突破是如何实现的?


据悉,该论文对人体具有丰富多样的姿态和穿着的特点,提出了一套全新的基于人体 3D 纵深预测的 3D 信息表征方式。通过对三原色图像(RGB,不含深度信息)的分析,预测人体的 3D 形态和姿势,并用 6 万多个点完整描绘人体,从而在人体重建技术上取得速度与精度的双突破,呈现出来的模型更精细,帧率高达到 200fps,原本由于受实时显示限制而无法实现的应用可以一一实现。


640?wx_fmt=png



不过,基于单帧图像的 3D 重建技术对原始图像的需求放松的同时,对背后的技术提出了更难的挑战:技术需要从单帧图像中推理出人体或人脸的 3D 形态,并通过光学透视、阴影叠加等基本光学原则准确预测出各个关键点在 3D 空间的位置和朝向,从而得到人体的姿态或表情信息。


可探索的技术应用方向


640?wx_fmt=png       

人体姿态和服饰复杂多样,精度提升意味着对复杂场景的适应性更好,模型更接近真实的情况。如《阿凡达》、《阿丽塔》、漫威系列等电影中,都需要专用特效设备与面部贴点来完成精细的人像采集,基于单帧图像的 3D 人体 / 人脸重建技术,意味着可能颠覆电影视频的拍摄制作,同时降低工业级 3D 动画合成的门槛。


640?wx_fmt=png       

由于对输入图像的要求低,使 3D 重建技术将可以利用普通光学摄像头作为感知设备。例如,该技术将会使美颜 App 无需结构光摄像头也能具备高精准度的瘦身与动画合成功能。


目前,这项技术可通过重要人员影像重建、医疗仿真肢体打印、虚拟试衣、美颜化妆、表情姿态动画合成等应用场景在大型商场、直播平台、美颜软件、影视特效制作等行业普及。


(本文为 AI科技大本营整理文章,转载请微信联系 1092722531)




精彩推荐


4月13-14日,CSDN将在北京主办“Python开发者日(2019)”,汇聚十余位来自阿里巴巴、IBM、英伟达等国内外一线科技公司的Python技术专家,还有数百位来自各行业领域的Python开发者,共同探讨Python在不同场景下的的应用优势和实战经验。扫描海报二维码,即刻购票!


640?wx_fmt=png

推荐阅读:

  • 1/10个iPhone Xs = 英伟达最便宜AI计算机,这是唯一的“核弹”?

  • 李飞飞宣布成立斯坦福“以人为本AI研究院”

  • 币圈大佬李笑来教Python,这碗“硬核鸡汤”你干不干?

  • 超常用的Python代码片段 | 备忘单

  • 都道业务提升坑大事儿多,但英特尔云方案却说“简单”

  • 大学生利用漏洞“骗走”京东110万, 中心化白条的漏洞, 区块链能否补得上?

  • 你有多少青春,可以荒废在初创企业?

  • 苹果的“价格战”还能走多远? | 畅言

  • 教训!学 Python 没找对路到底有多惨?



点一下再走,好吗?

640?wx_fmt=gif



点击“阅读原文”,查看历史精彩文章。

相关文章:

windows7/8 安装mysql5.7

简单记录下安装步骤: 网上下载了安装包,一路next默认即可,中间会出现 选择安装x64或 x86版本,这边科普下 x86代表32位操作系统,x64代表64位操作系统。 如果提示3306端口被占用,执行下netstat -aon|findst…

FGMap学习之--三维地图

你是否想让自己的地图以三维的形式展示出来呢?在三维下查看QQ地图、Bing地图、MapABC地图或者自己的地图是否有不一样的感觉呢?今天我们就来看看如果使用FGMap API来实现这个功能。 上次我们做了一个天气预报的示例,今天我们在三维地图上查看…

NLP实践:对话系统技术原理和应用

本文节选自电子工业出版社《自然语言处理实践:聊天机器人技术原理与应用》作者:王昊奋&邵浩&李方圆&张凯&宋亚楠以下是节选内容按照技术实现,我们可将任务驱动的对话系统划分为如下两类:模块化的对话系统分模块串…

沃尔沃加入英伟达阵营 2021年开卖自动驾驶汽车

随着研发的深入,自动驾驶行业越来越显现出合纵连横的趋势。本周,英伟达阵营再次迎来新的合作伙伴——沃尔沃和瑞典汽车零部件供应商Autoliv。其实此前沃尔沃的自动驾驶项目“DriveMe”所用的测试车辆就搭载了英伟达DrivePX平台,该公司的自动驾…

【Qt】通过QtCreator源码学习Qt(五):QLoggingCategory管理、分类、过滤打印信息

1、QLoggingCategory简介 在QtCreator源码中新学到一个类QLoggingCategory。 QLoggingCategory可以控制打印输出类别和区域。方便在调试时,过滤掉不关心的打印信息。 2、使用方法 声明 在头文件中声明,供其它文件使用 #include <QLoggingCategory> Q_DECLARE_LOGG…

个人随笔——衰人自叙卷壹

为什么80%的码农都做不了架构师&#xff1f;>>> 臣本菜鸟&#xff0c;求学于锦江&#xff0c;致力就职于专业&#xff0c;不求闻达于外企。HR不以臣级低&#xff0c;BOSS亲点&#xff0c;后召臣入研发部门&#xff0c;晓臣以编码之事&#xff0c;由是感激&#xff…

【Qt】通过QtCreator源码学习Qt(六):命令行参数解析实现

参考下大神的命令行参数解析是如何是实现的 //使用const char []代替宏定义字符串,我以前都是用const QString,想想好傻 const char SETTINGS_OPTION[] = "-settingspath"; const char INSTALL_SETTINGS_OPTION[] = "-installsettingspath"; const char…

【黑客浅析】像黑客一样思考

欢迎大家前往腾讯云社区&#xff0c;获取更多腾讯海量技术实践干货哦~ 作者&#xff1a;由云鼎实验室发表在云社区 网络安全里经常说的一句话是未知攻焉知防&#xff0c;基本所有的安全人员也是一名黑客&#xff0c;在黑客攻击愈发普遍的今天&#xff0c;如何更好的防御黑客攻击…

Python的最佳学习方式

作者 | GENEVIEVE CARLTON译者 | 姜松浩责编 | 屠敏转载自 CSDN&#xff08;ID&#xff1a;CSDNNews&#xff09;以下为译文&#xff1a;如今想要学习 Python 的人拥有比以往更多的资源。但是&#xff0c;这也可能使筛选书籍、课程和其他 Python 资源变得相对困难。并不是每个人…

Android 系统启动过程

文章来源于网络&#xff0c;心得来源于整理。请尊重作者&#xff1a;http://hi.baidu.com/guoxiaoming/blog/item/24e9e9f8c9628f1fd9f9fd89.html/cmtid/7525d63fb437a6cd7c1e713bAndroid 系统启动过程Android 从系统启动有4个步骤: 1, init进程启动 2. Native服务启动 3.Syste…

【Qt】通过QtCreator源码学习Qt(七):插件管理类简介

一、名字空间:ExtensionSystem ExtensionSystem命名空间提供了属于核心插件系统的类。 ExtensionSystem包含插件管理器及其支持类,以及必须由插件提供者实现的IPlugin接口。 二、ExtensionSystem::PluginManager:插件主类 ExtensionSystem::PluginManager简介 三、Exten…

视频直播常见问题与解决办法汇总【系列二—直播截图】

2019独角兽企业重金招聘Python工程师标准>>> 摘要&#xff1a; 使用场景 用户常需要对视频直播的内容进行分析。例如&#xff0c;需要对直播中的某一帧的内容作为封面图片或者对于直播内容进行鉴黄以查看内容合法性等需求。因此&#xff0c;视频直播提供了实时截图功…

智能猫窝是如何诞生的?详解百度大脑的开放生态

3 月 20 日下午&#xff0c;首场百度大脑开放日在北京中关村创业大街百度大脑创新体验中心举行。百度 AI 技术生态部总经理喻友平&#xff0c;就百度大脑平台与生态进行了全面的详解&#xff0c;同时展示了百度大脑开放平台 Q1 核心升级内容&#xff0c;包括语音技术、视觉技术…

我都陪你坐了一天了,你好歹说句话啊!吖的,谱也忒大了。。。

我都陪你坐了一天了&#xff0c;你好歹说句话啊&#xff01;吖的&#xff0c;谱也忒大了。。。 查看图片 转载于:https://blog.51cto.com/guohongzhi521/552922

【linux】Linux下LCD自动熄屏解决方法

1、原因分析 参考博客&#xff1a; https://blog.csdn.net/BOJUE01/article/details/53468026?locationNum5&fps1 https://blog.csdn.net/mao0514/article/details/46562057 正常情况下Linux会在一段时间后默认关闭屏幕&#xff0c;默认为10分钟。开始一直认为是Gnome或K…

翻译机之后,搜狗再推智能硬件产品录音笔

去年 10 月&#xff0c;搜狗 AI 事业部总经理张博告诉 AI科技大本营&#xff08;ID:rgznai100&#xff09;&#xff0c;翻译机只是搜狗做智能硬件的开始&#xff0c;接下里半年里&#xff0c;他们还将发布数款集成了搜狗 AI 技术的硬件产品。 3 月 18 日&#xff0c;搜狗举办了…

小米正用时序数据库,解决这个“硬核”问题

参加 2019 Python开发者日&#xff0c;请扫码咨询 ↑↑↑作者 | 许俊红来源 | 小米云技术&#xff08;id&#xff1a;mi-cloud-tech&#xff09;时序数据根据维基百科的定义[1]&#xff0c;时间序列是一组按照时间发生先后顺序进行排列的数据点序列。时序数据库&#xff08;Tim…

【Qt】通过QtCreator源码学习Qt(八):插件生命周期及对应状态(代码走读)

1、简介 PluginManager管理插件IPlugin的生命周期,从初始化插件到删除插件共八个状态。插件状态表——PluginSpec::enum State { Invalid, Read, Resolved, Loaded, Initialized, Running, Stopped, Deleted}; 插件IPlugin的状态记录在与插件对应的插件说明PluginSpec中,状态…

第七课 环境变量PATH,cp、mv及查看文档cat/more/less/head/tail命令

一、环境变量&#xff08;PATH&#xff09;echo $PATH 查看环境变量的目录PATH$PATH:/tmp/ &#xff08;目录&#xff09;给一个目录赋值环境变量&#xff1b; 让以上环境变量永久生效&#xff1a; 编辑 vi /etc/profile/ 把以上参数加入到文本的最后&#xff0c;退出&#x…

asp.net获取页面url参数值的实现代码实例

asp.net获取页面url参数值的实现代码实例 file: default.aspx.cs using system; using system.data; using system.configuration; using system.collections; using system.web; using system.web.security; using system.web.ui; using system.web.ui.webcontrols; using sys…

【Qt】编译QtCreator

一、Ubuntu14.04编译QtCreator 4.0.3 1、准备工作 编译工具要求 Qt >= 5.5.0; g++ >= 4.7; 2、编译步骤 cd <QtCreator源码目录> qmake -r make 3、安装 make install INSTALL_ROOT=<指定目录> 二、Win10编译QtCreator 4.7.1 1、准备工作 编译工具…

Go Pro 半小时上手指南

Jack刚买了台Go Pro 6&#xff0c;商品包装内没有说明书&#xff0c;希望尽快拍那种慢动作或者酷炫的照片&#xff0c;去网上看了些贴都是注重结果&#xff0c;很少讲具体设置或技巧&#xff0c;光靠自己研究什么时候才能入门&#xff1f;《Go Pro 半小时上手指南》为你解决这些…

出身清华,大神朱俊彦再出GauGAN:AI让你变身神笔马良

参加 2019 Python开发者日&#xff0c;请扫码咨询 ↑↑↑作者 | Just出品 | AI科技大本营&#xff08;ID:rgznai 100&#xff09;一次 TED 演讲中&#xff0c;前锤子科技设计总监罗子雄分享如何入门学设计的经验。要想学好设计&#xff0c;他提醒观众要先看基础实例教程。由于互…

delphi中的第三方控件如何安装 (转)

最佳答案 由于组件提供的方式不同&#xff0c;所以安装的方法也是不一样的&#xff0c;下面就目前常见的各种形式的组 件的安装方法介绍一下。 1只有一个DCU文件的组件。DCU文件是编译好的单元文件&#xff0c;这样的组件是作者不想把源码公 布。一般来说&#xff0c;作…

【Qt】Qt中使用ssl时报错:qt.network.ssl: QSslSocket: cannot resolve SSLv2_client_method

一、问题 在Qt中使用https,运行时报错: qt.network.ssl: QSslSocket: cannot resolve SSLv2_client_method二、原因分析 SSLv2由于某些漏洞导致的不安全原因, 在某些linux发行版里的openssl库禁用掉了SSLv2 三、解决办法 重新编译openssl 1、下载openssl git clone …

渡鸦创始人离职百度后的下一个“真相”

参加 2019 Python开发者日&#xff0c;请扫码咨询 ↑↑↑作者 | 琥珀出品 | AI科技大本营&#xff08;ID:rgznai100&#xff09;一直以来&#xff0c;渡鸦科技被外界看做是百度一次失败的收购。彼时彼刻&#xff0c;国内外智能音箱市场成为最火爆的兵家必争之地。渡鸦创始人、原…

QuickBI助你成为分析师——数据源FAQ小结

摘要&#xff1a; 添加数据源的时候经常会遇到各种问题&#xff0c;下面来讲解一下常见情况&#xff0c;若仍有疑问扫码咨询哦&#xff01;使用 Quick BI 分析数据时&#xff0c;需要先指定原始数据所在的数据源&#xff0c;测试连通数据源是数据分析的基础&#xff0c;下面让我…

HTML5 学习笔记(一)- video

直到现在&#xff0c;仍然没有一项可以让网页上显示视频的标准。大多数的视频都是通过插件&#xff08;如Flash&#xff09;来实现播放的&#xff0c;但是并不是所有的浏览器拥有同样的插件。 而伟大的HTML5规定了一个元素<video>来实现这种功能。 <video>支持Ogg、…

【Qt】通过QtCreator源码学习Qt(九):容器算法总结

一、简介 本节总结QtCreator中封装的容器算法接口,源码文件的路径src/libs/utils/algorithm.h。 算法接口包括:判断、查找、删除、统计、排序、转换、拆分、过滤 二、算法源码讲解 1、判断 Utils::anyOf、Utils::allOf Utils::anyOf如果容器中有任一符合条件的元素,则返…

今晚8点直播 | 详解聊天机器人落地及进阶实战

近年来&#xff0c;聊天机器人技术及产品得到了快速的发展。聊天机器人作为人工智能技术的杀手级应用&#xff0c;发展得如火如荼&#xff0c;各种智能硬件层出不穷。本次公开课中&#xff0c;AI科技大本营联合电子工业出版社博文视点邀请到上海瓦歌智能科技有限公司总经理&…