当前位置：首页 > 编程日记 > 正文

玩嗨的2亿快手“老铁”和幕后的极致视觉算法

编程日记 2024-12-25 21:50:00

640?wx_fmt=jpeg

作者 | Just

出品 | AI科技大本营（ID:rgznai100）

创立八年，短视频平台快手目前已经有超过两亿人在每天登陆使用，每天还有超过 1500 万条短视频被制作和上传，每天的累计观看数更是达到 150 亿。

拥有如此庞大的用户数，快手用户涵盖中国社会的各个地域和阶层，生产丰富的视频内容。这些用户拍摄的视频就像一个社会博物馆，几十年后许多生活方式和民俗都会随着社会变迁而消失，但它们都以最原始的形式保存在快手用户视频里，其覆盖之广泛或许连任何官方或专业的影像资料都无法替代。

有媒体用这样一句话来概括快手平台的作用：在快手上遇见最广袤的中国。几年前在新闻稿上读到这句话，让王华彦至今印象深刻。

提高两种 AI 算法效率服务快手“老铁”

毫无疑问，王华彦认可快手作为短视频平台传递出的这种价值理念，如今作为快手位于硅谷的 Y-tech 实验室负责人，他告诉 AI科技大本营（ID:rgznai100），这也是其加入快手的其中一个主要原因。

价值理念的匹配固然重要，但自己的研究兴趣与快手在同一技术方向上的重视，让这种双向碰撞会一拍即合。2018 年 7 月，王华彦在其斯坦福师兄、现快手 Y-tech 负责人郑文的牵线下正式加入。

640?wx_fmt=png

王华彦，现快手 Y-tech 硅谷实验室负责人。他是斯坦福大学计算机科学博士，师从概率图模型（graphical models）领域的顶尖学者和奠基人之一的 Daphne Koller 教授研究计算机视觉。就读斯坦福大学人工智能实验室期间，为复杂化的概率图模型开发了高效的推理算法。他的研究曾登上在ACM 通讯（CACM）的研究亮点（research highlights），并在多个顶级会议上发表。王华彦本科和硕士阶段就读于北京大学，师从査红彬教授，也曾在香港科技大学杨强教授的实验室访学。

在此之前，无论是在斯坦福读博，还是后来在硅谷做通用人工智能的公司 Vicarious AI 担任高级研究员，王华彦的主要专注点一直是如何从各种角度提高 AI 算法的效率。他进一步解释，效率包含两方面：一是学习阶段利用数据的效率，即利用更丰富的模型先验结构从更少的数据学到更多知识，二是推理阶段的计算效率。围绕这两大方向，他的一项研究成果入选了 2013 年 ACM 通讯（CACM）的研究亮点（research highlights）。

在 Vicarious AI，他和团队的研究工作继续围绕提高效率这一目标，重点关注数据效率和泛化（generalization）能力，他们发现，在特定场景下高度结构化的模型能够用几百分之一的训练数据就超过业内最强的卷积神经网络（CNN）的泛化能力。这一研究最终发表在 2017 年的《科学》（Science）杂志。

快手的核心技术需求与王华彦的研究方向高度契合。为了辅助用户进行更多内容生产，快手在业务中使用了大量 AI 技术进行赋能，比如美妆装饰特效、跳舞机游戏、控雨特效、AR 特效、染发特效、背景替换和魔法表情等。这些特效用到了人脸关键点、人体关键点识别、手势识别、视觉惯性里程计、头发分割、背景分割等 AI 技术。

这些技术应用背后，需要通过标注大量图像，作为数据集进行监督学习，训练出模型。但这种方式并不十分有效，相比人类只需要少量样本的学习方式而言，效率很低。

同时，快手的“老铁”们普遍使用的大众型手机对 AI 算法的推理计算效率提出了前所未有的高要求，这迫使他们快速开发并在大众移动设备上部署最先进的 AI 算法，而目前业界开发 AI 算法的主要瓶颈在于数据，如果能大幅提高数据利用效率就能提高开发效率。

问题在于，快手具体如何提高利用数据的效率以及推理计算效率？

追求极致效率：开发下一代计算机视觉算法

坐落在斯坦福校园旁边的快手 Y-tech 硅谷实验室，其研究大方向是追求 AI 算法的极致效率，王华彦称，他们在方法上主要专注于利用更加结构化的模型以及结构化的视觉信息表示，充分利用先验知识，提高算法效率，从而落地到内容理解、编解码和内容生产等不同的场景。

将这些模型应用部署到端上，主要的挑战来自任务的多样性以及移动计算设备及其底层软硬件的多样性。他指出，将一般性的普适性方法应用到不同的场景中需要适应它们各自的性质和需求。

而所谓的追求“极致效率”，在研究方面的体现就是开发下一代计算机视觉算法。

目前业界和学界基于卷积神经网络（CNN）和大数据的计算机视觉方法有比较明显的局限性，王华彦举例称，人的视觉系统只需要很少的样本就能学习一个概念，而 CNN 需要非常多的样本。这是因为人在看到一个物体的时候，对于它的形状、轮廓、纹理、颜色等属性有一个结构化的（structural）、可拆分的（compositional）表示方式，而 CNN 在“看到”一个物体的时候，这些不同方面的属性是被混合在一个“黑箱子”里面，造成了 CNN 在学习概念的时候利用样本的效率很低，因为它无法将不同的样本以比较合理的方式联系起来。

值得注意的是，在深度学习兴起之前，早期的计算机视觉方法更多的是采用这种结构化的表示方式，但并没有取得深度学习方法这样成功以及业界的广泛应用。从近些年的发展来看，王华彦认为，越来越丰富的结构化信息表示方式正在被引入到深度学习方法中，但离能够从很少的数据中高效率学习的“下一代计算机视觉算法”还有非常大的距离。

640?wx_fmt=png

从推理计算效率方面来说，人的视觉系统在面对动态场景的时候，会将物体的属性和运动信息分离开来，并不会每时每刻都反复重新“识别”一个在运动或变形的物体。一个高效的计算机视觉系统也应该对动态信息采取类似的表示方式及推理方式，即由当前时刻物体的属性和状态自然推演下一时刻物体的属性和状态。这一过程就需要将物体的形状、纹理等各方面的属性进行一种可拆分的（compositional）表示，从而对它们分别运用对应的先验知识进行推理。

而基于 CNN 的方法由于无法将物体各方面的属性分开表示，在面对一个动态场景时，不可避免地需要进行大量冗余计算，反复重新“识别”物体及其状态。这其中很大部分的计算资源浪费都需要在一套可拆分的视觉信息表示方法下才有可能解决。

当然，AI 算法处理信息的方式和人脑还是有非常大的不同，所以他认为以上所述不能被粗暴地理解为“模仿人脑建造 AI”，而应从人的认知行为在某些特定方面的某些特性获得启发，找到目前 AI 算法潜在瓶颈以及能够提高的地方。

探索计算机视觉等 AI 前沿算法固然不错，但更常见的是，大部分实验室环境下表现优秀的算法却在实际落地到应用时不尽人意。

在王华彦看来，前沿算法由于很“前沿”，往往缺乏一个成熟的“使用说明书”。比如在 A 情形和 B 情形下应该如何 debug 等等，这往往需要有一定研究经验的算法科学家和工程师来根据具体情况分析解决方案。而学界做研究跟业界做研究一个显著的不同点在于，前者发表一篇论文往往是展示一两个新算法的成功案例，而后者的一个方法性研究工作要想成功落地，则需要一个比较流程化的描述，对各种可能遇到的情形都能够做到有章可循。在他看来，如何开发一个这样的“流程”应是算法落地的主要挑战。

9 月 6 日，2019 AI ProCon，快手硅谷实验室负责人王华岩将作为计算机视觉专题出品人做重磅演讲，详解计算机视觉算法应用的技术实例，欢迎开发者购票参会，距离5折优惠票结束还有 3 天！大会详情：

https://aiprocon.csdn.net/m/topic/ai_procon

640?wx_fmt=png

(*本文为 AI科技大本营原创文章，转载请联系微信 1092722531)

◆

福利时刻

◆

入群参与每周抽奖~

扫码添加小助手，回复：大会，加入福利群，参与抽奖送礼！

640?wx_fmt=jpeg

AI ProCon 2019 邀请到了亚马逊首席科学家@李沐，在大会的前一天（9.5）亲授「深度学习实训营」，通过动手实操，帮助开发者全面了解深度学习的基础知识和开发技巧。还有 9大技术论坛、60+主题分享，百余家企业、千余名开发者共同相约 2019 AI ProCon！距离5折优惠票结束还有 3 天！

640?wx_fmt=jpeg

推荐阅读

大咖云集、精彩议题、独家内容，2019 AI ProCon震撼来袭！（日程出炉）

无需成对示例、无监督训练，CycleGAN生成图像简直不要太简单

从不温不火到炙手可热：语音识别技术简史

分析CVPR 2019论文关键词，我看到了计算机视觉的最新趋势 | 附代码

入门大爆炸式发展的深度学习，你先要了解这6个著名框架

用Python的算法工程师们，编码问题搞透彻了吗？

Python冷知识，不一样的技巧带给你不一样的乐趣

我是如何通过开源项目月入 10 万的？

撬动百亿台设备，让物联网“造”起来！

程序员离无人值班有多远？

相关文章：