800万中文词，腾讯AI Lab开源大规模NLP数据集
参加 2018 AI开发者大会，请点击 ↑↑↑
10 月19 日，腾讯 AI Lab 宣布开源大规模、高质量的中文词向量数据。该数据包含 800 多万中文词汇。
腾讯 AI Lab 表示，相比现有的公开数据，该数据在覆盖率、新鲜度及准确性上大幅提高，为对话回复质量预测和医疗实体识别等自然语言处理方向的业务应用带来显著的效能提升。
▌腾讯 AI Lab 词向量的特点
腾讯 AI Lab 此次公开的中文词向量数据包含 800 多万中文词汇，其中每个词对应一个 200 维的向量。相比现有的中文词向量数据，腾讯 AI Lab 的中文词向量着重提升了以下 3 个方面：
覆盖率（Coverage）：
该词向量数据包含很多现有公开的词向量数据所欠缺的短语，比如“不念僧面念佛面”、“冰火两重天”、“煮酒论英雄”、“皇帝菜”、“喀拉喀什河”等。以“喀拉喀什河”为例，利用腾讯AI Lab词向量计算出的语义相似词如下：
墨玉河、和田河、玉龙喀什河、白玉河、喀什河、叶尔羌河、克里雅河、玛纳斯河
新鲜度（Freshness）：
该数据包含一些最近一两年出现的新词，如“恋与制作人”、“三生三世十里桃花”、“打call”、“十动然拒”、“供给侧改革”、“因吹斯汀”等。以“因吹斯汀”为例，利用腾讯 AI Lab 词向量计算出的语义相似词如下：
一颗赛艇、因吹斯听、城会玩、厉害了word哥、emmmmm、扎心了老铁、神吐槽、可以说是非常爆笑了
准确性（Accuracy）：
由于采用了更大规模的训练数据和更好的训练算法，所生成的词向量能够更好地表达词之间的语义关系，如下列相似词检索结果所示：
输入
刘德华
兴高采烈
狂奔
自然语言处理
相似词
刘天王
兴高彩烈
飞奔
自然语言理解
周润发
兴冲冲
一路狂奔
计算机视觉
华仔
欢天喜地
奔跑
自然语言处理技术
梁朝伟
兴致勃勃
狂跑
深度学习
张学友
眉飞色舞
疾驰
机器学习
古天乐
得意洋洋
飞驰
图像识别
张家辉
喜笑颜开
疾奔
语义理解
张国荣
欢呼雀跃
奔去
语音识别
得益于覆盖率、新鲜度、准确性的提升，在内部评测中，腾讯AI Lab提供的中文词向量数据相比于现有的公开数据，在相似度和相关度指标上均达到了更高的分值。
▌腾讯 AI Lab 词向量的构建
为了生成高覆盖率、高新鲜度、高准确性的词向量数据，腾讯 AI Lab 主要从以下 3 个方面对词向量的构建过程进行了优化：
语料采集：
训练词向量的语料来自腾讯新闻和天天快报的新闻语料，以及自行抓取的互联网网页和小说语料。大规模多来源语料的组合，使得所生成的词向量数据能够涵盖多种类型的词汇。而采用新闻数据和最新网页数据对新词建模，也使得词向量数据的新鲜度大为提升。
词库构建：
除了引入维基百科和百度百科的部分词条之外，还实现了 Shi 等人于 2010 年提出的语义扩展算法 [5]，可从海量的网页数据中自动发现新词——根据词汇模式和超文本标记模式，在发现新词的同时计算新词之间的语义相似度。
训练算法：
腾讯 AI Lab 采用自研的 Directional Skip-Gram (DSG)算法 [6] 作为词向量的训练算法。DSG 算法基于广泛采用的词向量训练算法 Skip-Gram (SG)，在文本窗口中词对共现关系的基础上，额外考虑了词对的相对位置，以提高词向量语义表示的准确性。
▌中文 NLP 数据集的意义
近年来，深度学习技术在自然语言处理领域中得到了广泛应用。基于深度神经网络的模型已经在词性标注、命名实体识别、情感分类等诸多任务上显著超越了传统模型。用深度学习技术来处理自然语言文本，离不开文本的向量化，即把一段文本转化成一个n维的向量。在大量任务中，作为千变万化的文本向量化网络架构的共同底层，嵌入层（Embedding Layer）负责词汇（文本的基本单元）到向量（神经网络计算的核心对象）的转换，是自然语言通向深度神经网络的入口。大量的学界研究和业界实践证明，使用大规模高质量的词向量初始化嵌入层，可以在更少的训练代价下得到性能更优的深度学习模型。
目前，针对英语环境，工业界和学术界已发布了一些高质量的词向量数据，并得到了广泛的使用和验证。其中较为知名的有谷歌公司基于word2vec算法[1]、斯坦福大学基于GloVe算法[2]、Facebook基于fastText项目[3]发布的数据等。
然而，目前公开可下载的中文词向量数据[3,4]还比较少，并且数据的词汇覆盖率有所不足，特别是缺乏很多短语和网络新词。因此，腾讯 AI Lab 开源中文词向量数据对中文 NLP 的研究者来说，绝对算得上是一个利好消息。
最后，送上传送门：
https://ai.tencent.com/ailab/nlp/embedding.html
[1] Tomas Mikolov, Ilya Sutskever, Kai Chen, Gregory S. Corrado, and Jeffrey Dean:Distributed Representations of Words and Phrases and their Compositionality. NIPS 2013.
[2] Jeffrey Pennington, Richard Socher, and Christopher D. Manning. GloVe: Global Vectors for Word Representation. EMNLP 2014.
[3] P. Bojanowski, E. Grave, A. Joulin, T. Mikolov, Enriching Word Vectors with Subword Information. TACL 2017 (5).
[4] Shen Li, Zhe Zhao, Renfen Hu, Wensi Li, Tao Liu, Xiaoyong Du. Analogical Reasoning on Chinese Morphological and Semantic Relations. ACL 2018.
[5] Shuming Shi, Huibin Zhang, Xiaojie Yuan, and Ji-Rong Wen. Corpus-based Semantic Class Mining: Distributional vs. Pattern-Based Approaches. COLING 2010.
[6] Yan Song, Shuming Shi, Jing Li, and Haisong Zhang. Directional Skip-Gram: Explicitly Distinguishing Left and Right Context for Word Embeddings. NAACL 2018.
[7] Jialong Han, Yan Song, Wayne Xin Zhao, Shuming Shi, and Haisong Zhang. hyperdoc2vec: Distributed Representations of Hypertext Documents. ACL 2018.
[8] Jichuan Zeng, Jing Li, Yan Song, Cuiyun Gao, Michael R. Lyu, and Irwin King. Topic Memory Networks for Short Text Classification. EMNLP 2018.
[9] Yan Song and Shuming Shi. Complementary Learning of Word Embeddings. IJCAI 2018.
[10] Yan Song, Shuming Shi, and Jing Li. Joint Learning Embeddings for Chinese Words and their Components via Ladder Structured Networks. IJCAI 2018.
【完】
2018 AI开发者大会
◆
只讲技术，拒绝空谈
◆
2018 AI开发者大会是一场由中美人工智能技术高手联袂打造的AI技术与产业的年度盛会！是一场以技术落地为导向的干货会议！大会设置了10场技术专题论坛，力邀15+硅谷实力讲师团和80+AI领军企业技术核心人物，多位一线经验大咖带你将AI从云端落地。
大会日程以及嘉宾议题请查看下方海报（点击查看大图）
相关文章：
屏幕后处理——Bloom
来自于《Unity Shader 入门精要》书本的学习 先上图 代码分3部分 1.PostEffectsBase.cs using System.Collections; using System.Collections.Generic; using UnityEngine; //在编辑器状态下可执行该脚本来查看效果 [ExecuteInEditMode] //屏幕后处理特效一般需要绑定在摄像…
服务端口大全+注解
端口：0服务：Reserved说明：通常用于分析操作系统。这一方法能够工作是因为在一些系统中“0”是无效端口，当你试图使用通常的闭合端口连接它时将产生不同的结果。一种典型的扫描，使用IP地址为0.0.0.0，设置ACK…
双绞线是计算机网络的一种通信线路吗,计算机网络环境的信道传输技术分析
韩长军【摘要】计算机网络的产生对人类文明进步树立了新标杆，促进了人们的交流，对于人类社会信息获得的途径以及咨询传播方式等等也产生了极其重大的影响。数据密集程度较高的科学和工程，比如、水文观测、地壳波动资料、气象行业等等…
为了智能驾驶，李彦宏要改造城市道路
10 月 18 日，在世界智能网联汽车大会上，百度 CEO 李彦宏提到：当汽车变得越来越智能，道路的基础设施也必须跟着变，必须进行改造。 李彦宏在发言中表示，“很多自动驾驶汽车都是需要依赖极其昂贵的激光雷达来实…
美团大脑：知识图谱的建模方法及其应用 | 公开课笔记
参加 2018 AI开发者大会，请点击 ↑↑↑分享嘉宾 | 王仲远（美团 AI Lab NLP 中心负责人）整 理 | 周翔出 品 | AI科技大本营作为人工智能时代最重要的知识表示方式之一，知识图谱能够打破不同场景下的数据隔离，为搜…
LINQ篇：ASP.NET using LINQ(Part One) Scott大师的产物
【原文地址】Using LINQ with ASP.NET (Part 1) 【原文发表日期】Sunday, May 14, 2006 9:49 PM 最近使我激动不已的新鲜事之一就是LINQ系列技术的出现，包括LINQ，DLINQ，XLINQ和不久后的其他技术。 LINQ将被完全集成到代号为Orcas的下个版本Vi…
大学生如何合理使用计算机,大学生计算机合理使用引导分析
摘 要：在当今社会中，计算机已经成为大家工作与生活不可缺少的工具。而在大学校园内，越来越多的学生也拥有了自己的计算机。计算机不仅可以帮助大学生进行学习活动，还能使学生在紧张学习之余进行娱乐放松。但是，大学生在…
关于机器学习中山峰聚类算法的说明
前言在之前关于聚类算法的文章中，笔者主要涉及的内容均是和参数求解相关的，如C均值（包括模糊C均值）、混合高斯模型等，而对于一些无参数密度估计的算法尚未讨论，而且一般基于参数密度估计的算法均是建立在假…
SQLDMO- （数据备份与恢复篇）
引用usingSystem;usingSystem.Collections.Generic;usingSystem.Text;publicsealedclassDbOper { /**//// <summary> /// DbOper类的构造函数 /// </summary> private DbOper() { } /**//// <summary> /// 数据库备份 /// </summary> …
详细介绍Java垃圾回收机制
垃圾收集GC（Garbage Collection）是Java语言的核心技术之一，之前我们曾专门探讨过Java 7新增的垃圾回收器G1的新特性，但在JVM的内部运行机制上看，Java的垃圾回收原理与机制并未改变。垃圾收集的目的在于清除不再使用的对…
美国卡尔顿学院计算机专业怎么样,美国卡尔顿学院排名
在学术上，卡尔顿学院在美国处于领先地位。被美国新闻与世界报道评为全美前10位的文理学院卡尔顿学院排名卡尔顿学院是明尼苏达州菲尔德市一所历史悠久的文科私立院校，一直奉行无宗教派别男女合校制度。卡尔顿学院始建于1866年，经过一百多年的…
比特大陆发力边缘计算，详解终端AI芯片BM1880
作者 | 中国科学院微电子研究所 剑白 前不久比特大陆推出其云端人工智能芯片--SOPHON(算丰)BM1682芯片，BM1682是比特大陆设计，并对图像、视频等处理给予额外辅助支持的人工智能硬件加速芯片，其峰值运算速度为3TFLOPs，可提供给用户…
职称计算机 菏泽,山东菏泽2016年职称计算机首批考试时间
一、考试范围及科目(模块)1、参加2016年全国专业技术人员计算机应用能力考试的人员，须按照《2014版全国专业技术人员计算机应用能力考试科目(模块)代码表》(以下简称《2014版考试科目》)(见附件1)所列科目(模块)要求进行报名考试。2、评聘中级专业技术职务者&#x…
GitHub 挂了
参加 2018 AI开发者大会，请点击 ↑↑↑今天早上，全球最大的同性交友网站 GitHub 出现大规模宕机，你中招了没有？▌GitHub“挂了”“见鬼？？？”，一位 Twitter 用户评论道，“…
在ARC环境中autoreleasepool(runloop)的研究
引言 最近有个大佬考察了我关于autoreleasepool的了解, 之前一直认为自己了解, 但是稍微一问深, 自己却哑口无言. 仔细思考了下, 决定要将这个问题结合之前的知识从新梳理一下, 当然, 实践是必不可少的. main函数中的autoreleasepool的作用?系统的autoreleasepool我们自己创建…
QoS实验配置详解
QoS---CQ（定制队列）学习CQ（定制队列）的配置；本实验首先用ACL定义一些流量。然后再将这些流量进行先后排队，最后将排好队的流量策略应用到接口上 1 过滤流量R2(config)#access-list 101 permit ospf any any…
朴素贝叶斯分类器详解及中文文本舆情分析（附代码实践）
参加 2018 AI开发者大会，请点击 ↑↑↑作者 | 杨秀璋（笔名：Eastmount），贵州财经大学信息学院老师，硕士毕业于北京理工大学，主要研究方向是Web数据挖掘、知识图谱、Python数据分析、图像识别等。…
计算机应用基础试题及答案试卷号7074,阅读文章，完成试题。后来才知道，在这千钧一发的时刻，是郝副营长划着了火柴，点燃了那本书，举得高高的， - 学进去中小学试卷试题库...
阅读《苏州园林》(节选)，回答问题。苏州园林(节选)叶圣陶①苏州园林据说有一百多处，我到过的不过十多处。其他地方的园林我也到过一些。倘若要我说说总的印象，我觉得苏州园林是我国各地园林的标本。②设计者和匠师们因地制宜，自出…
解决“由于应用程序的配置不正确，应用程序未能启动，重新安装应用程序可能会纠正这个问题”...
[VS2005]解决“由于应用程序的配置不正确，应用程序未能启动，重新安装应用程序可能会纠正这个问题” 今天在准备发布用VS2005写的那个程序时，拷贝到我同事机器上，双击突然出现了“由于应用程序的配置不正确，应用程序未能…
PHP实时生成并下载超大数据量的EXCEL文件
最近接到一个需求，通过选择的时间段导出对应的用户访问日志到excel中， 由于用户量较大，经常会有导出50万加数据的情况。而常用的PHPexcel包需要把所有数据拿到后才能生成excel， 在面对生成超大数据量的excel文件时这显然是会造成内…
小学三年级上册计算机计划书,小学三年级班主任工作计划书
教学计划是教师个人制定的工作计划，通常为一个学期，内容主要包括制定教学计划的指导思想、教学内容以及教学目标，最重要的是每个教师要针对自己所带的学生特点来制定计划，因材施教才是对我们学生最好的教育.一、指导思想端正学习态…
10行代码爬取全国所有A股/港股/新三板上市公司信息
参加 2018 AI开发者大会，请点击 ↑↑↑作者 | 高级农民工本文已获原作者授权，如需转载，请联系原作者。摘要： 我们平常在浏览网页中会遇到一些表格型的数据信息，除了表格本身体现的内容以外，可能还想透过表格…
阿里云前端周刊 - 第 29 期
推荐 1. RESTful API 设计最佳实践 https://blog.philipphauer.de/... 项目资源的URL应该如何设计？用名词复数还是用名词单数？一个资源需要多少个URL？用哪种HTTP方法来创建一个新的资源？可选参数应该放在哪里？那些不涉…
Flash传值给asp页面
1.LoadVars的load方法－－－－－在flash中写一个拉出两个动态文件框，变量名为myName与myPsd，拉出一组件button，名为：submit_button，用于提交，再拉出一T…
《深度学习500问》，川大优秀毕业生的诚意之作
前端工程师掌握这18招，就能在浏览器里玩转深度学习基于知识图谱的人机对话系统 | 公开课笔记来呀！AI喊你斗地主美团大脑：知识图谱的建模方法及其应用 | 公开课笔记60天,4位诺奖得主,他们将这样改造区块链程序员的江湖，务必掌握这些…
UC阿里鱼卡全网免流活动正在进行
UC&阿里鱼卡全网免流活动正在进行 优酷、虾米、高德、书旗应用专属流量免费 赠送100分钟国内通话、1G全国流量 扫码立即免费申请
普渡大学计算机硕士申请条件,普渡大学计算机与信息技术理学硕士研究生申请要求及申请材料要求清单...
2020年普渡大学计算机与信息技术理学硕士申请要求及普渡大学计算机与信息技术理学硕士申请材料要求清单是学生很感兴趣的问题，下面指南者留学整理2020年普渡大学计算机与信息技术理学硕士研究生申请要求及申请材料要求清单供大家参考。其中包括2020年普渡大学计算机…
object.ReferenceEquals(a,b)
code1 Assert.IsFalse(object.ReferenceEquals(10, 10));//比较时，要把比较的东西Box成Object，二个Ojbec地址是不一样的。 2 3 int value 10; 4 object one value; 5 object two value; 6 As…
深度文本匹配在智能客服中的应用
参加2018 AI开发者大会，请点击↑↑↑作者 | 云知声目录一. 深度文本匹配的简介1. 文本匹配的价值2. 深度文本匹配的优势3. 深度文本匹配的发展路线二. 智能客服的简介1. 智能客服的应用背景2. 智能客服的核心模块FAQ 库的构建语义召回相似度模型模型更新三. 深度文本…
计算机辅助焊接过程控制,重型车辆计算机辅助焊接工艺自动设计系统.pdf
金属学与金属工艺维普资讯第26卷 第10期 焊 接 学 报 v。1．26 N。．102005年 10月 TRANSACTIONSOFTHECHINAWELDINGINSTITUTION October 2005重型车辆计算机辅助焊接工艺 自动设计系统王克鸿， 韩 杰， 李 帅 王佳军(南京理工大学 材料…