元宇宙中可跨语种交流，Meta 发布新语音模型，支持128种语言无障碍对话
编译 | 禾木木
出品 | AI科技大本营（ID:rgznai100）
语言交流是人类互动一种自然的方式，随着语音技术的发展，我们可以与设备以及未来的虚拟世界进行互动，由此虚拟体验将于我们的现实世界融为一体。
然而，语音技术仅适用于全世界数千种语言中的一小部分。基于有限标记数据的少样本学习，甚至无人监督的语音识别是有帮助的，但这些方法的成功取决于自监督模型的质量。
近日，Meta 正式发布 XLS-R ——一套用于各类语音任务的新型自监督模型。XLS-R 由海量公共数据训练而成，能够将传统多语言模型的语言支持量增加两倍以上。
而 XLS-R 作为元宇宙社交中必不可少的一环，可以帮助母语不同的人在元宇宙中直接对话。
为了能够通过单一模型实现对多种语言的理解，Meta 对 XLS-R 进行了微调，使它能够执行语音识别、语音翻译和语言识别等功能。XLS-R 在 BABEL、CommonVoice 以及 VoxPopuli 语音识别基准测试，CoVoST-2 的外语到英文翻译基准测试，以及 VoxLingua107 语言识别基准测试中都有了先进的水平。
为了进一步使这些能够被广泛地访问，Meta 与 Hugging Face 联手发布了模型在 Github 上。
https://huggingface.co/spaces/facebook/XLS-R-2B-22-16
XLS-R 工作原理
XLS-R 基于 wav2vec 2.0 训练集上接受了超过 436,000 小时的公开语音录音训练，这是对语音表示进行自监督学习的方法。这样的训练量已经达到去年发布的最好的模型 XLSR-53 的 10 倍。利用从会议记录到有声读物等不同来源的语音数据，XLS-R 的语言已扩展到 128 种，涵盖的语言数量是钱袋模型的近2.5倍。
Meta 在4种主要多语言语音识别测试中对 XLS-R 做出评估，发现在测试的 37 种语言中，它的表现超越先前的模型工作；具体来说，在 BABEL 的 5 种语言、CommonVoice 的 10 种语言、MLS 的 8 种语言和 VoxPopuli 的 14 种语言上进行了尝试。
BABEL 上的单词错误率基准测试结果。XLS-R 较前代模型实现了显著改进。
Meta 还评估了语音翻译模型，将录音直接翻译成另一种语言。为了打造一套能够执行多种任务的模型， Meta 同时在 CoVoST-2 基准测试的数个不同翻译方向上对 XLS-R 进行了微调。最后结果是能够在英语与多达 21 种语言之间实现内容互译。
在使用 XLS-R 对英语以外的其他语言进行编码时，获得了显著的改进，这也是多语言语音表达领域的一次突破。XLS-R 在低资源语言学习中实现了显著改进，例如印尼语到英语的翻译，其中 BLEU 准确率平均翻了一番。BLEU 指标的提升是指模型给出的自动翻译结果与处理同一内容的人工翻译结果间重合度更高，代表着模型在改进口语翻译能力方面迈出了一大步。
以 BLEU 指标衡量的自动语音翻译准确率，其中较高值表示 XLS-R 从高资源语言（例如法语、德语）、中资源语言（例如俄语、葡萄牙语）或低资源语言（例如泰米尔语、土耳其语）语音记录翻译至英语时的准确率。
结语
XLS-R 表明，扩展跨语言预训练可以进一步提高低资源语言的性能。它不仅提高了语音识别的性能，还能将外语到英语的语音翻译的准确性提高了一倍以上。XLS-R 是朝着能够理解多种不同语言单一模型迈出的重要一步，它是所知道的利用公共数据进行多语言预训练的最大努力。
Meta 相信这个方向将使机器学习应用程序更好地理解所有人类语音并促进进一步研究，使语音技术在全球范围内更容易使用，尤其是在服务欠缺的人群中。Meta 将通过不断开发新方法来从较少的监督中学习，并将方法扩展到全球 7,000 多种语言，实现算法的持续更新。
参考链接：
https://ai.facebook.com/blog/xls-r-self-supervised-speech-processing-for-128-languages/
相关文章：
sql server几种读写分离方案的比较
原文:sql server几种读写分离方案的比较在生产环境中我们经常会遇到这种情况： 前端的oltp业务很繁忙，但是需要对这些运营数据进行olap，为了不影响前端正常业务，所以需要将数据库进行读写分离。 这里我将几种可以用来进行读写分离的…
Jquery和javascript常用技巧
var objSel document.getElementById("selOp"); //这是获取值 alert("当前值: " objSel.value); //这是获取文本 alert("当前文本: " objSel.options(objSel.selectedIndex).text);…
LeetCode刷题-1
数组-1.两数之和题目描述题目样例Java方法：暴力枚举思路及算法代码执行结果复杂度Java方法：哈希表思路及算法代码执行结果复杂度题目描述 给定一个整数数组 nums 和一个整数目标值 target，请你在该数组中找出和为目标值 target 的那两个整数…
测试驱动开发与行为驱动开发中的测试先行方法
Gil Zilberfeld将在 Agile Practitioners会议上举办小型研讨会，讨论测试先行（test first）方法，测试驱动开发（TDD）和行为驱动开发（BDD）的基础。 \\\ Test-First是一个很优秀的工具。它…
在jupyter notebook中同时安装python2和python3
环境 win10 已安装anaconda3 How 1.安装python27> conda create -n py27 python2.72. conda install --prefixD:\pyenv\py27 ipykernel(python27 指定路径：D:\pyenv\py27)3. activate py27(查看 conda info --envs)4. python -m ipykernel install --user5.启动j…
简化代码的微小修改
可选参数和命名实参 可选参数如果操作需要多个值，而有些值在每次调用的时候又相同，这时可以使用可选参数声明可选参数并在调用时省略它们#region 13-1声明包含可选参数的方法并调用static void Dump(int x, int y 20, int z 30)//声明包含了可选参数的…
windows版本下使用xdebug
下载xdebug: http://www.xdebug.org/download.php 这个版本： http://www.xdebug.org/files/php_xdebug-2.2.0-5.3-vc9.dll拷贝到php的ext目录 配置php.ini extensionphp_xdebug-2.2.0-5.3-vc9.dll;xdebug.profiler_enable1;xdebug.profiler_output_dir"E:\PHPn…
LeetCode刷题-2
数组-26.删除有序数组中的重复项题目描述题目样例Java方法：双指针思路及算法代码执行结果复杂度题目描述 给你一个有序数组 nums ，请你原地删除重复出现的元素，使每个元素只出现一次 ，返回删除后数组的新长度。不要使用额外的数组…
[设计模式]外观模式
1. 定义 外观模式 提供了一个统一的接口，用来访问子系统中的一群接口。外观定义了一个高层接口，让子系统更加容易使用。 外观不仅简化了系统内接口的使用，也将客户从组件中的子系统中解耦，外观和适配器都可以包装很多类࿰…
Oralce中的to_date()函数
Oralce中的to_date()函数to_date( ".$params[ORDER_TIME].",YYYY-MM-DD) TO_DATE(:BEGIN_DATE,yyyy-mm-dd hh24:mi:ss)Oralce中的to_date()函数用于将字符串转换为日期对象，具体使用格式为：to_date( string, [ format_mask ] , [ nls_lan…
LeetCode刷题-3
数组-27. 移除元素题目描述题目样例Java方法：双指针思路及算法代码执行结果复杂度Java方法：双指针优化思路及算法代码执行结果复杂度题目描述 给你一个数组 nums 和一个值 val，你需要原地移除所有数值等于 val 的元素，并返回移除…
Ubuntu下ssh免password登录安装
1、首先在本机安装openssh-server和openssh-client. 命令：sudo apt-get install openssh-server openssh-client 2、在检查当前的文件夹下有没有.ssh这个文件。没有的话就mkdir下。 3、生成公钥与私钥。命令：ssh-keygen -t rsa 4、将.ssh文件里的id_isa_…
npm中package-lock.json的作用：npm install安装时使用
简单理解: XYZ 的格式 对应为: 主版本号.次版本号.修订号，版本号递增规则如下： 主版本号：当你做了不兼容的 API 修改， 次版本号：当你做了向下兼容的功能性新增， 修订号：当你做了向下兼容的问题修…
win7中Android开发环境搭建超详细(百度)
Android系统如火如荼，Android软件开发也相当流行，这里介绍如何一步步完成Android软件开发环境的搭建。 工具/原料 能联网的计算机Java环境搭建 1Android软建开发用的是Java语言，所以第一步当然要完成Java环境的搭建， Java环境搭建…
LeetCode刷题-4
数组-35. 搜索插入位置题目描述题目样例Java方法：二分查找思路及算法代码执行结果复杂度题目描述 给定一个排序数组和一个目标值，在数组中找到目标值，并返回其索引。如果目标值不存在于数组中，返回它将会被按顺序插入的位置。 请…
Jquery和PHP Ajax JSON
无缓存，无错版$.ajax({ type: "GET", url: "index.php", cache: false, data: "conAdd&act_search&key" key"&id"id, dataType:"json", success: function(msg){ bindGroupList(msg)…
Web应用配置虚拟主机(www.baidu.com)
最终效果:浏览器地址栏输入www.baidu.com访问时,会显示自己的网页 1、创建文件 任意盘新建一个www.baidu.com文件,在该文件夹下新建WEB-INF文件、自己写的一个html文件,一张图片,然后在WEB-INF下新建一个classes文件、lib文件以及一个web.xml文件，在web.xml文件中输…
LeetCode刷题-5
数组-66. 加一题目描述题目样例Java方法：找出最长的后缀 9思路及算法代码执行结果复杂度题目描述 给定一个由整数组成的非空数组所表示的非负整数，在该数的基础上加一。最高位数字存放在数组的首位， 数组中每个元素只存储单个数字。 你可以假…
LeetCode 125 Valid Palindrome（有效回文）（*）
版权声明：转载请联系本人，感谢配合！本站地址：http://blog.csdn.net/nomasp https://blog.csdn.net/NoMasp/article/details/50623165 翻译 给定一个字符串，确定它是否是回文的，仅仅考虑其中的数字和字符并忽…
Ubuntu命令终端查看使用过的命令
使用history命令cyfubuntu:~$ history但是这样会显示出所有使用过的命令，可以在history后加上lesscyfubuntu:~$ history | less会显示出类似vim编辑器的形式，再使用类vim中的操作，查找使用过的命令:/sed //查找使用过的sed相关的命令也可以直…
对象名和函数名同名引起的莫名错误
<html><head><script type"text/javascript">var Validator function(){alert("w")}//第一步校验function validator(){validator new Validator();return true;} function aa(){if(validator()false){alert("FF")}else{al…
【FE前端学习】第二阶段任务-基础
技能学习部分： 1.需要熟练掌握HTML标签以及CSS各个常用属性。 2.掌握CSS3 常用属性 3.掌握jquery的基本用法，对于JS基本逻辑语句需要熟练掌握 上文 【FE前端学习】第二阶段任务-提高 一、HTML标签 HTML是一种标记语言，标记语言是一套标记标签…
LeetCode刷题-6
数组-88. 合并两个有序数组题目描述题目样例Java方法：直接合并后排序思路及算法代码执行结果复杂度Java方法：双指针思路及算法代码执行结果复杂度Java方法：逆向双指针思路及算法代码执行结果复杂度题目描述 给你两个按非递减顺序排列的整数数…
Bootstrap 模态框上下居中
在bootstrap.js里面找到Modal.prototype.adjustDialog在里面添加： // 是弹出框居中。。。var $modal_dialog $(this.$element[0]).find(.modal-dialog);var m_top ($(window).height() - $modal_dialog.height()) / 2;$modal_dialog.css({ margin: m_top px auto…
Oracle自增列创建方法
最近在做Oracle的项目，由于以前没有接触过Oracle的开发，遇到了不少的问题，比如给Oracle表添加自增列，与SQL Server就不同。Oracle没有自增字段这样的功能，但是通过触发器(trigger)和序列(sequence)可以实现。 先建一个…
LeetCode刷题-7
数组-108. 将有序数组转换为二叉搜索树题目描述题目样例前言Java方法：中序遍历，总是选择中间位置左边的数字作为根节点思路及算法代码复杂度Java方法：中序遍历，总是选择中间位置右边的数字作为根节点思路及算法代码复杂度Java方法…
PS 拉伸大长腿
1.打开一个图片工具栏--图像--画布大小 2.选择矩形选框工具--框住要拉升退的位置--然后在按CtrlT，进行拉伸即可 转载于:https://www.cnblogs.com/dengqing9393/p/9481647.html
LeetCode刷题-8
数组-118. 杨辉三角题目描述题目样例Java方法：数学思路及算法代码复杂度题目描述 给定一个非负整数 numRows，生成「杨辉三角」的前 numRows 行。 在「杨辉三角」中，每个数是它左上方和右上方的数的和。 题目样例 示例1： 输入…
php导出excel格式数据
解决2个问题： 1.身份证之类的文本数据自动转为科学计数法的问题。 2.中文乱码的问题 excel从web页面上导出的原理。当我们把这些数据发送到客户端时，我们想让客户端程序（浏览器）以excel的格式读取 它，所以把mime类型设…
[BZOJ2796][Poi2012]Fibonacci Representation
由于是斐波那契数列，所以$x_ix_j<x_k,i<j<k$ 所以猜测可以贪心选择两边近的数处理。 1 #include<cstdio>2 #include<algorithm>3 #define ll long long4 #define mid (lr>>1)5 using namespace std;6 ll f[505],tot1;7 inline ll findl(…