MMIT冠军方案 | 用于行为识别的时间交错网络，商汤公开视频理解代码库
作者 | 商汤
出品 | AI科技大本营（ID:rgznai100）
本文主要介绍三个部分：
一个高效的SOTA视频特征提取网络TIN，发表于AAAI2020
ICCV19 MMIT多标签视频理解竞赛冠军方案，基于TIN和SlowFast
一个基于PyTorch，包含大量视频理解SOTA模型的代码库X-Temporal
本文将介绍一种用于行为识别的时间交错网络(TIN temporal interlacing network)。该网络想较当前SOTA的基础上，在实现6倍加速的同时，还多个评测数据集上获得了4%的提升。同时该方法作为主力方法，在2019年的ICCV Multi Moments In Time challenge中取得了冠军(Leaderboard)。我们还release了一个基于PyTorch的开源动作识别代码库X-Temporal，希望可以进一步推动动作识别社区的发展。
本文工作由港中文MMLab、清华大学与商汤研究院X-Lab联合出品。
简介
行为识别，是计算机视觉领域长期关注的问题，在视频理解、行为检测、手势识别等领域都有着广泛的应用。领域内之前的的工作主要集中在使用卷积神经网络和各种时序模型（例如光流法，循环神经网络和3D卷积）相结合的方式学习时空特征。然而由于这些框架需要交替地学习时间和空间特征，使得它们需要消耗大量的计算资源和时间成本。能稳定提高模型性能的光流法需要用到的光流信息抽取非常耗时，几乎不可能用于实时计算。由此，我们自然而然的产生了一个疑问：那就是我们能否将时间信息嵌入到空间信息中，以便可以一次同时联合学习两个域中的信息。
本文提出了一个简单而强大的模块-时序交错网络（Temporal Interlace Network）来尝试解决这个问题。TIN不学习时间特征，而是通过交错过去到未来以及未来到过去的空间特征来融合时-空信息。一个可微分的子模块可以计算出交错时的特征在时序维度上的偏移量，同时可以依据偏移量来将特征重新进行交错排列，使每组特征在时间维度上位移不同的距离。从而用便捷快速的特征位移操作替代了3D卷积来实现相邻帧的信息交换。这使网络的参数量和计算量远低于普通3D卷积网络，使网络整体变得相当轻量化。在文中我们也从理论上证明了可学习的时序交错模块本质上等同于受约束的时序卷积网络。
算法详情
时序交错网络的框架如图二所示，该框架主要由偏移预测网络，权重预测网络和可微时序移动模块组成。其整体将作为一个模块插入到Resnet的卷积层之前。对于整个输入的Feature Map，我们先将其3/4的channel对应的特征固定住，再将余下1/4的特征沿着channel维度分为4组，每组会应用不同的偏移量。
其中偏移预测网络主要负责预测出其中两组沿着T维度的偏移量，然后剩下两组的偏移量是前两组的相反值。这样我们可以保证信息在时序维度上的流动是对称的，更有利于后续特征的融合。权重网络主要负责预测融合后时序维度上特征的权重。如果原始输入是8帧，该网络便会为每组输出8个值分别代表每一帧的权重然后会直接用此值来加权融合过后每一帧的feature。我们也同时发现位于两端的帧所预测的权重大多会比较低，这里我们的猜想是两端的帧的特征在沿着时序移动时由于一边没有其他帧会损失掉一部分，因此导致了网络给他们一个较低的权重来弥补信息损失带来的影响。
可微时序移动模块的框架如图三所示，它可以将各组按channel维度切分出来的特征沿着时间维度移动任意个单位。其实现方式主要是通过一维线性差值实现的。其中我们还采用了时序扩展技术，以保证偏移之后位于视频之外的特征不为空。举个例子，原本位于T=0的特征在向前偏移0.5个单位后便位于T=-0.5的位置，该位置理论上是不存在特征的，但我们通过假设T=-1位置的特征全为0使位于-0.5的位置取到了特征，也即Feature(T=-0.5) = ½(Feature(T=-1) + Feature(T=0))。
实验
表一对比了在Something-Something v1 数据集上TIN与其他主流模型的性能。在测试性能时每个视频均只采用1 Crop进行测试，且分辨率和训练时保持一致。
可视化结果
图五将网络学习得到offset和weight进行了可视化分析
。从offset的可视化结果我们可以发现在浅层网络中的偏移量非常小，在网络逐渐变深的过程中学习到的偏移量才逐渐变大。我们认为浅层的神经网络主要学习2D空间特征，在较深的网络中才开始逐渐学习时序维度特征，这和之前3D卷积网络中得到的结论是类似的。
基于TIN的ICCV MMIT比赛方案
在ICCV19 MMIT多标签视频理解竞赛中，我们将TIN与SlowFast算法进行融合，取得了ICCV multi-moments in time challenge竞赛的冠军成绩。ICCV MMIT多标签视频理解比赛旨在对3s短视频中内的动作进行理解。其包含超过100万段视频，并标记了超过200万个动作标签，是目前最大规模的视频理解挑战。巨大的数量与类别，对计算机算法提出了严苛的要求。
我们对2D与3D方法均进行了广泛的尝试。3D方法以SlowFast网络及其变种为主，包括单纯的slow分支，时域密集的fast分支，以及原版的SlowFast。结果下表所示，时域密集的fast分支(32*2)取得了最高的单模型成绩。我们还发现，测试阶段的多尺度以及密集采样可以大幅提高算法性能。
2D方法以我们的方法TIN，我们也尝试了TSN, TSM等方法，结果如下表所示，TIN大幅的提高了动作识别的准确度，在将TIN与3D方法进行融合后，我们在验证集上取得了67.22mAP的成绩，在测试集上取得了60.77mAP的成绩，名列第一(Leaderboard)。
X-Temporal代码库介绍
在上述算法和竞赛的准备过程中，遇到的一个困难是缺乏一个基于PyTorch并广泛支持众多SOTA方案且具有高效训练能力的视频理解代码库。为此，我们开发了X-Temporal repo。其具有以下特征：
1. 支持数据集广泛，并可处理多分类数据集。包括UCF101, Hmdb51, Jester, Kinetics-600, Kinetics-700, Moments in Time , Multi Moments in Time, Something v1, Something v2等。
2. 同时支持处理原视频在线抽帧和抽帧后的图片作为输入，支持多种解码方案。
3. 提供了最新最全的通用视频分类主流方法的实现，包括2D方法 ( TSN, TSM, TIN ) 和3D方法( SlowFast, ResNet-3D, R(2+1)D ), 并在多个数据集取得了SOTA的性能（包含我们在ICCV19 MMIT竞赛第一名的所有model）。
4. 模块化设计使易于添加新的2D或者3D模型。
5. 对部分模型编写了CUDA Operator，大幅提高了其性能。
6. 我们后续会提供基于该库的Model Zoo，方便用户进行Pretrain等操作。
相关链接：
AAAI: https://arxiv.org/abs/2001.06499
Solution: https://arxiv.org/abs/2003.05837
Github: https://github.com/Sense-X/X-Temporal
欢迎所有开发者扫描下方二维码填写《开发者与AI大调研》，只需2分钟，便可收获价值299元的「AI开发者万人大会」在线直播门票！
推荐阅读
前百度主任架构师创业，两年融资千万美元，他说AI新药研发将迎来黄金十年
8比特数值也能训练模型？商汤提训练加速新算法丨CVPR 2020
400 多行代码！超详细中文聊天机器人开发指南 | 原力计划
知识图谱够火，但底层技术环节还差点火候 | 技术生态论
机器学习项目模板：ML项目的6个基本步骤
BM、微软、苹果、谷歌、三星……这些区块链中的科技巨头原来已经做了这么多事！
你点的每个“在看”，我都认真当成了AI
相关文章：
MySQL的主从服务器配置
MySQL的主从服务器配置常见开源数据库有：MySQL，PostgreSQL，SQLite等，商业性质的：Oracle，Sql Server，DB2，Sybase，Infomix其中，Oracle的版本有Oracle 11g,Oracl…
Anaconda中安装Orange3脚本-完整版
2019独角兽企业重金招聘Python工程师标准>>> #Anaconda中安装Orange3脚本，完整版。包括插件的安装，在脚本中一次完成。 sudo apt-get update sudo apt-get -y install git python-pip python-virtualenv python-qt4-dev python3-pyqt4 libqt…
使用eclipse创建Struts2项目
eclipse版本： Kepler Service Release 1 http://www.eclipse.org/downloads/ struts版本：2.3.16 http://struts.apache.org/ 1.新建web项目 打开Eclipse，新建一个web项目"Struts2" 项目名字 勾选 web.xml选项 建好的…
8、进程通信－匿名管道
匿名管道 一个单向，未命名的管道，通常用来在一个父进程和一个子进程间传输数据。只能实现本地机器上两个进程间的通信，而不能实现跨网络的通信。 BOOL CreatePipe( PHANDLE hReadPipe, // read handle PHANDLE hWriteP…
Enhanced-RCNN: 一种高效的比较句子相似性的方法 ｜WWW 2020
作者 | 彭爽出品 | AI科技大本营（ID:rgznai100）国际顶级会议WWW2020将于4月20日至24日举行。始于1994年的WWW会议，主要讨论有关Web的发展，其相关技术的标准化以及这些技术对社会和文化的影响，每年有大批的学者、研究人…
直接可以拿去用的正则验证表达式
直接可以拿去用的正则验证表达式为了方便自己也方便初学的学弟们，自己总结了网上的众多正则验证式，现分享给大家，可以直接拿去用。一、校验数字的1 数字：^[0-9]*$2 n位的数字：^\d{n}$3 至少n位的数字：^\d{n…
家庭局域网开启AP隔离利用无线路由器互连
一开始可以上网，可以ping网关192.168.1.1，但是几台电脑之间就是不能互ping。 其实，真实的原因就是没有开启无线路由器的AP隔离。 在浏览器中输入192.168.1.1进入路由搜索一般用户名密码都是admin，具体请参见自己路由的说明书 操…
通过 Python 代码实现时间序列数据的统计学预测模型
来源 | DeepHub IMBA封图 | CSDN 付费下载于视觉中国 在本篇中，我们将展示使用 Python 统计学模型进行时间序列数据分析。 目标是：根据两年以上的每日广告支出历史数据，提前预测两个月的广告支出金额。原始数据：2017-01-01 到 201…
神色洋溢的 域名背后的故事
前短时间，我刚申请一个域名，好的顶级域名都被被人一拥而上的都强去了，我只好找那些申请好的用户买呀，这叫炒作，就是这样的抄起来的。你说平常一个也就100左右就搞定，可是现在要是到那票手里，那就…
Rust语言开发基础（六）基础语法
2019独角兽企业重金招聘Python工程师标准>>> 一、变量的定义和使用 其它常见的编程语言对变量的定义通常是通过声明类型和使用关键new来创建一个变量，但Rust不是，Rust使用关键字let。 1. 变量绑定通过let实现 fn main() { let x 5; } 2. 变量…
400 多行代码！超详细 Rasa 中文聊天机器人开发指南 | 原力计划
作者 | 无名之辈FTER责编 | 夕颜出品 | 程序人生（ID：coder_life）本文翻译自Rasa官方文档，并融合了自己的理解和项目实战，同时对文档中涉及到的技术点进行了一定程度的扩展，目的是为了更好的理解Rasa工作机制…
Linux配置SSH无密码登陆
可以使用“公钥私钥"认证的方式来进行ssh登录。 所谓 "公钥私钥"认证方式，就是首先在客户机上创建一对公钥和私钥，公钥文件：~/.ssh/id_rsa.pub； 私钥文件：~/.ssh/id_rsa 然后把公钥文件放到目标服务器…
Linux进程浏览器htop安装与使用
htop 是一个 Linux 下的交互式的进程浏览器，可以用来替换Linux下的top命令。当前具有按树状方式来查看进程，支持颜色主题，可以定制等特性。其实htop是top的加强版，增加了很多功能。 官网 http://hisham.hm/htop/ 下载地址http:/…
什么？神经网络还能求解高级数学方程？
来源 | 数据派 THU封图 | CSDN 付费下载于视觉中国 Facebook AI建立了第一个可以使用符号推理解决高级数学方程的AI系统。通过开发一种将复杂数学表达式表示为一种语言的新方法，然后将解决方案视为序列到序列的神经网络的翻译问题，我们构建了一个在解决积…
***和******
网络是一把双刃剑，它在人类社会的发展中起着越来越重要作用，但同时，网络自身的安全问题也像挥之不去的阴影时刻笼罩在人们心头。据不完全统计，全世界平均每 20秒钟就发生一起******事件，互联网上大约有20万个***网站可…
Linux监控工具dstat
dstat是一个用来替换 vmstat,iostat netstat,nfsstat和ifstat这些命令的工具, 是一个全能系统信息统计工具. 与sysstat相比, dstat拥有一个彩色的界面, 在手动观察性能状况时, 数据比较显眼容易观察; 而且dstat支持即时刷新, 譬如输入dstat 3, 即每三秒收集一次, 但最新的数据都…
9月16号晚上，Asuka有一场关于Windows 7组策略的Webcast，欢迎兄弟们来捧场
之所以选题在组策略之一块，是因为Windows 7和2008 R2对于组策略有了很大的功能上的增强，但是很多IT人员都无法意识或者去重视这一块内容，所以我将从下面这3个角度去介绍这些更新。如果您正好有时间，那不妨来技术交流一番:)直播进入…
腾讯天衍实验室联合微众银行研发医疗联邦学习 AI利器让脑卒中预测准确率达80%
近几年，医疗行业正在经历一场数字化转型，这场基于大数据和AI技术的变革几乎改变了整个行业的方方面面，将“信息就是力量”这句箴言体现的淋漓尽致，人们对人工智能寄以厚望，希望它能真正深入临床一线，帮助医…
JavaSript模块化 AMD CMD 详解.....
模块化是指在解决某一个复杂问题或者一系列的杂糅问题时，依照一种分类的思维把问题进行系统性的分解以之处理。模块化是一种处理复杂系统分解为代码结构更合理，可维护性更高的可管理的模块的方式。可以想象一个巨大的系统代码，被整合优化分割…
在Eclipse中使用Maven构建Spring项目
最新版的Spring需要使用Maven构建，本文讲述怎么在Eclipse构建Maven项目，以配置Spring项目为例。 maven简单介绍 maven是构建工具，也是构建管理工具。ant只是构建工具，因为不支持生成站点功能，只有预处理，编…
Go 语言官网全新改版
2019独角兽企业重金招聘Python工程师标准>>> 前两天发现 Go 语言官网改版了，布局由原来的左中右变成了上中下结构，主色调没有变，整体依然保持简洁的风格。在首页添加了一个叫 Playground 的模块，它可以编译、运行你输入…
就在今晚 | 港科大李世玮教授问诊未来，开辟大湾区新航路
阳春三月，万象更新，2020年注定是不平凡的一年！有激荡就会遇见变革，有挑战就会迎来机遇。今天总会过去，未来将会怎样？香港科大商学院内地办事处重磅推出全新升级的《袁老师访谈录》全新系列【问诊未来院长系…
NLP（Natural Language Processing）
https://github.com/kjw0612/awesome-rnn#natural-language-processing 通常有： (1)Object Recognition (2)Visual Tracking (3)Image Generation (4)Video Analysis NLP: （1）Language Modeling （2）Speech Recognition…
Linux环境编程
1.__sync_fetch_and_add和__sync_bool_compare_and_swap gcc从4.1.2提供了__sync_*系列的built-in函数，用于提供加减和逻辑运算的原子操作。 其声明如下： type __sync_fetch_and_add (type *ptr, type value, ...) type __sync_fetch_and_sub (type *p…
AI新基建如何构建？浪潮给出了一个答案
作者 | Just出品 | AI科技大本营（ID:rgznai100）伴随生产力升级，社会基础设施也正在发生变化。而智慧时代的新型基础设施，要能够对外提供各种算力服务、数据服务和AI服务。浪潮认为，其核心是计算力的生产中心。因此&…
协作是企业管理的重点和难点
这个问题让我想起了一道数学题，11？。在生活中这个题目的答案会千差万别，更别说一个企业。在我眼中，企业中最难管的是关系，更准确的说是协作。 经理过好几个信息系统建设的项目，小到一个简单的邮件系统&…
使用CSS3美化复选框checkbox
我们知道HTML默认的复选框样式十分简陋，而以图片代替复选框的美化方式会给页面表单的处理带来麻烦，那么本文将结合实例带您一起了解一下使用CSS3将复选框checkbox进行样式美化，并且带上超酷的滑动效果。 查看演示 下载源码HTML 通常我们使用以…
Thift安装
thrift官网http://thrift.apache.org/ #wget http://mirror.bit.edu.cn/apache/thrift/0.9.2/thrift-0.9.2.tar.gz #tar -zvxf thrift-0.9.2.tar.gz # ./configure --prefix/usr/local/thrift #make && makeinstall 增加到环境变量 #export PATH$PATH:/usr/…
“手把手撕LeetCode题目，扒各种算法套路的裤子”
出品 | AI科技大本营（ID:rgznai100）刷LeetCode刷到懵还是一头雾水？莫慌，这里有一个标星27000的算法详解教程。从项目命名来看，作者labuladong就有着要干翻算法的精气神。当然，这个教程不只是为了机械刷题。…
c语言标准库低通的qsort函数不适宜所有排序任务的原因
c语言标准库低通的qsort函数不适宜所有排序任务的原因： 第一：它只能用于内存中的数组排序，不能对链表中的数据排序； 第二：因为它是参数化的函数，所以能对各种数据进行操作，也造成它的运行速度比…