当前位置：首页 > 编程日记 > 正文

普通人也能用AI拍出3D大片？这位清华博士后这么做

编程日记 2025-01-06 06:50:00

640?wx_fmt=png

从《阿凡达》到《流浪地球》，从好莱坞科幻 3D 电影之最到中国科幻 3D 电影之最，从 2009 年到 2019 年，近十年的岁月，见证了中国 3D 影视制作的快速成长和繁盛，也刺激着赵天奇探索人工智能与影视制作结合应用的信心。

影视制作中，科幻电影的火爆让全球影迷感受到了 3D 特效的魅力，这与近年来人工智能技术的突破性进展密不可分。

“比如《流浪地球》的每一个镜头都需要手工制作，这个过程十分复杂，耗费的人力成本也非常之高。人工智能影视制作就是用 AI 替代影视行业中大量的比较枯燥、高成本、低创造性的工作。”聚力维度创始人、CTO、Qualcomm AI 荣誉技术大使赵天奇如是说。

多年来，赵天奇一直专注人工智能与影视行业的结合创新。北邮读博期间，他创立了一家名为十二维度的公司，定位于数字图像及 AI 在 3D 影视方面的应用，当时，VR 市场的火爆让 3D 找到了最佳落地方向，但他并不满足，在赵天奇的带领下，2016 年，科幻成真实验室首个人工智能 2D 转 3D 平台 “峥嵘” 上线，而他现在还是清华大学人工智能影视方向的博士后。

自动实现 2D 转 3D 有何难？

2011 年开始，随着谷歌、微软研究团队先后将深度学习应用到语音识别领域，2019 图灵奖获得者 Geoffrey Hinton 团队在 ImageNet 大赛中利用深度学习将图片识别的错误率大幅降低，由深度学习技术推动的人工智能开始得到更多科研机构、工业界的高度关注。

尽管那时人工智能的概念还没有如今这么火爆，但赵天奇敏锐地察觉到深度学习背景下语音识别、计算机视觉在影视行业所变革的潜力。

传统的 3D 内容制作技术主要有两种：一种是 3D 双机实拍，一种就是 2D 后期转 3D，但仍需要耗费巨大的资金、人力和时间成本。而技术的瓶颈直接导致 3D 内容的匮乏，目前国产 3D 电影呈扎堆之势，但成熟者却不多。那么，将 2D 视频渲染成 3D 有哪些技术难点？

赵天奇强调，一是影视内容的类别十分复杂，例如人物场景、自然场景、历史场景、想象场景等，每增加一个维度就上升一个级别；二是对观影效果的要求非常高，将丝毫的抖动误差排除到最小。为此，他们针对性地设计了多级神经网络、时空复用信息、对抗神经网络等技术，最终达到了院线级的水平。

很多算法是 “玩具级”的，只能用来娱乐

目前，聚力维度在 3D 领域的产业化已经非常成熟了，包括院线电影、电视剧、视频直播等 ToB 领域，以及涉及个人短视频、2D 转 3D 的 ToC 领域。

谈及此前争议颇多的 “AI 换脸” 技术，在赵天奇看来，“有很多算法都是‘玩具级’的，娱乐可以，但没有人用它来生产内容。”

他认为，如果将人工智能的应用分为识别、决策、生成、理解几种任务的话，聚力维度是一家专注于影视产品生成的公司。怎么理解呢？“就是给人去看、去听，而不是帮人决策。”

聚力维度还联合 Qualcomm 共同为终端用户提供语音技术服务。赵天奇认为，Qualcomm 本身在移动端的基因非常深厚，也是非常符合场景需求的，对于 AI 技术快速落地到移动端，也是最有发言权的。

当然，这只是一个起点，未来在 ToC 领域像变脸、面部捕捉、动作捕捉、3D 转换等（技术）双方都可以进行更全方位的合作。而且，赵天奇团队也在积极探索真人级的面部捕捉、动作捕捉技术，计划与电视台等合作落地“虚拟主播” 项目。

不久前，赵天奇被评为 Qualcomm AI 荣誉技术大使，这无疑是对其团队的一种肯定。赵天奇强调：“我们做这个方向在 AI 领域确实也是一个比较独特的方向，相对于大热的安防人脸识别、自动驾驶决策等领域，影视生成并不是所有人都能理解的。但我们也发现：不管是影视传媒还是互联网领域的合作伙伴，都可以与之合作加速 AI 影视制作的落地。”

“人人都可以做影视作品”，是赵天奇对当下 AI 在影视行业产生变革的愿景。例如，定制化电影、时效性电影、多结局交互游戏式电影都是他们正尝试突破的方向。未来，赵天奇还希望利用 AI 技术将面部捕捉、声音捕捉、动作捕捉、动作生成全流程覆盖，真正实现“视频作家”，并将全流程服务在产业中快速落地。

专用人工智能是没有泡沫的

据英国风投基金 MMCVentures 发布的最新研究报告显示，欧洲 2830 家标榜为 AI 的公司中，有 1580 家符合 AI 公司的定义，也就是说，近四成的公司其实和 AI 没有任何关系。当时，这一数字的公布，引起了圈内不小的震动。

“从现阶段来讲，如果大家对通用人工智能 / 强人工智能有所期待的话，这件事情应该是有泡沫的；相反，专用人工智能，从本质上是没有泡沫的。”赵天奇认为。

他还建议：专注于高校里的研究人员，更适合研究通用人工智能，因为企业拥有数据，在盈利压力之下，可能会在某个专项问题上比高校内的研究人员取得更为突出的成果；但同样企业需要盈利，就无法专门去研究通用人工智能，所以新的技术就可能出现在纯研究人员的高校群体中，“尽量往需要小数据，不需要数据，通用人工智能这条路上去研究；如果是创业者，一定要针对他自己熟悉的领域以及对应的专用人工智能结合，彻底地分析这件事情的可行性、局限性。”

当然，AI 算法只是意味着开了个好头，真正考验的是创新企业如何结合自身业务将算法进行商业落地。要知道，AI 的实际技术门槛很高，在发展过程中，真正的 AI 公司也可能遇到数据和技术的挑战。在这一点上，对于持续高涨的中国 AI 企业来讲更是挑战巨大。

“对技术与行业时刻保持深刻理解，一定要两者结合才能形成真正落地的项目。”对于赵天奇而言，从最初 2012 年创立团队，经历了 2016 年颠覆创新，现在已经能准确把握人工智能与影视行业结合的痛点，让人人都能做电影，科幻般的人工智能影视制作方式成为现实。

特别提示：

Qualcomm 荣誉技术大使所发表的内容及观点均属原作者个人意见，并不必然代表 Qualcomm 或其分支机构的立场。这些内容仅供信息参考，并非获得 Qualcomm 或其他任何一方的认可或代表其观点。

640?wx_fmt=png

https://www.dkcj.cn/info/35065.html

普通人也能用AI拍出3D大片？这位清华博士后这么做

相关文章：

[asp.net core]SignalR一个例子

【FFmpeg】截至ffmpeg4.2不推荐（Deprecate）继续使用的接口，以及代替它的接口汇总

Asp.net开发过程中，我们会遇到很多Exception

【经验】对一个合格C++高级工程师（音视频方向）的要求

马云：腾讯不是阿里要打败的对手，是同为社会创造价值的伴侣

Win10 | Mac 在server上统一办公

JDK5.0新特性系列---目录

怎样搞定分类表格数据？有人用TF2.0构建了一套神经网络 | 技术头条

【FFmpeg】Hello World!尝试如何编译FFmpeg程序

x-pack watch邮件报警配置

虚拟桌面的备份恢复最佳实践第一部分

Python程序员Debug利器，和Print说再见 | 技术头条

【FFmpeg】解决警告warning: xxx is deprecated [-Wdeprecated-declarations]的方法

[BZOJ2527]Meteors

一个可提供html5制作服务的网站

【Ubuntu】Ubuntu下的录频软件SimpleScreenRecorder

打开阿兹海默之门：华裔张复伦利用RNN成功解码脑电波，合成语音 | Nature

[转载] 别人的心得感悟

Windows Phone 7、XNA的旋转的背景

【Qt】报错error: undefined reference to `vtable for的解决方法

110万开发者的福音，百度Easy DL商品检测专业版上线

简单爬虫学习记录

开启笔记本win7的虚拟热点，让你的本本变成wifi

检测到包降级: Microsoft.Extensions.Configuration.Abstractions 从 2.1.1 降 2.1.0

【FFmpeg】如何通过url的格式找到对应的协议，以rtmp为例

李开复口中的“联邦学习” 到底是什么？| 技术头条

业务逻辑应该在哪里实现更为合理呢？

前端不哭！最新优化性能经验分享来啦 | 技术头条

【FFmpeg】如何通过字符串到对应的封装器，以flv为例

坚持使用Override 注解（36）