同义句转换在线翻译器中文(中文同义句在线替换)

艺术经纬:我是困桃。

【新智元导读】怎样才叫打破语言界的天花板？一次拿下15个语种22项第一，还让机器读懂40多种语言。能够在多语种语音语言领域制霸的背后是中国团队22年对顶天立地这一理念的坚守。

一次获得15种语言的22个一等奖！

不，更糟糕的是:我可以阅读40多种语言，这简直打破了语言世界的天花板。

他获得了两个奖项，科大讯飞获得了多语言方向的大满贯。

第一，在全球多语种理解权威评测XTREME中，哈工大HFL团队以84.1的平均分排名第一，刷新世界纪录。

后来在国际低资源多语种语音识别大赛OpenASR中，科大讯飞-中国科技大学的联合团队参加了全部15个语言受限的赛道和7个语言不受限的赛道，都获得了第一名。

这一切都得益于讯飞背后根深蒂固的技术，以及其始终如一坚持百折不挠精神的初心，让讯飞在多语种语音语言领域独领风骚。

第一的背后

那么，现在机器的多语言理解能做到什么程度呢？

比如下面这句话，夹杂着英语、德语、西班牙语。

烧水和供应蒸汽所需的热量可来自各种来源，最常见的是在封闭空间(不同地称为燃烧室，火箱)内燃烧可燃材料并适当供应空气。在陈曼，法兰是一个很好的例子，包括汽车、能源、太阳能或其他工业产品。在蒸汽机车模型的情况下，热量由电力驱动。

翻译过来就是:

烧水提供蒸汽所需的热源有很多种，最常见的是供给适量的空气体，在封闭的空房间(也称燃烧室、火箱)内燃烧可燃物。在某些情况下，热源是核反应堆、地热能、太阳能或内燃机或工业过程的废气。如果是模型或者玩具蒸汽机，电热元件也可以作为热源。

说到多语言自然语言理解，Google举办的Xtreme(多语言编码器跨语言传递评测)评测就很有代表性。

https://arxiv.org/pdf/2003.11080.pdf

与以往单语自然语言理解的考核任务不同，XTREME中的每一项任务都涵盖了多种语言，其中很多语言缺乏相关研究，如达洛维塔的泰米尔语、泰卢固语和马拉雅拉姆语，非洲尼日尔-刚果的斯瓦希里语和约鲁巴语。

评估结果是模型的多语言理解能力的平均指数，因此对系统模型的多语言理解和跨语言迁移能力的要求大大提高。

具体来说，XTREME涵盖12个语系的40种语言，包括4个类别的9个任务，用于推理不同层次的语法或语义:

句对分类：XNLI、PAWS-X（自然语言推断）序列标注：UDPOS（词性标注）、PANX （命名实体识别）阅读理解：XQuAD、MLQA、TyDiQA（片段抽取型阅读理解）句子检索：BUCC、Tatoeba（跨语言文本检索）

今年9月，微软用最新的图灵通用语言表示模型(T-ULRv5)成功刷新了四个单项任务的XTREME list和SOTA总分。

为了实现这一最新成果，微软在大规模多语言数据集上训练了模型的平行文本语料库，同时结合了最新的XLM-E研究和XTune微调技术。

由此产生的T-ULRv5 XL拥有48个变压器层，1536个隐藏维度，24个注意头，50万个多语言词汇表，22亿个总参数，可以处理94种不同的语言。

然而在上个月的最新排名中，哈工大讯飞联合实验室(HFL)团队以84.1分的平均分再次刷新纪录。

在四项任务中，HFE的CoFe模型中有三项超过了微软的T-ULRv5 XL模型创下的记录，而另一项则与之持平。

对此，哈工大讯飞联合实验室提出了三项技术，让模型具备多语言理解和跨语言迁移能力。

首先，增加了自主开发的跨语言对比学习技术，以鼓励模型学习不同语言的语义相似性。

CoFe以多语言同义句对为正样本，混淆和反义句对为难负样本，以比较学习和分类任务为训练目标，使模型能够比较和学习不同语言文本背后的语义。

上例中，对于源语言(汉语)中的句子A，“大家都在看着他”，英语同义词B“所有的眼睛都转向了他”是正例，法语反义词C“C”Il n & # 39；一个过去的态度。注意”是一个困难的否定样本，其他句子作为常见的否定样本来训练模型，使模型获得对句子语义的跨语言理解。

其次，利用知识提取技术进行自监督学习和知识转移，进一步提高了模型在各种语言中效果的稳定性。

知识提取技术不仅可以用于模型的压缩和加速，还有助于提高模型的性能和稳定性。因此，CoFe从多个角度对其进行了开发和利用:

通过自监督训练，让模型自我蒸馏，提升稳定性；多语-单语的多到一知识迁移。所谓三人行必有我师，让多语言学生模型从多个单语言教师模型学习知识，博采众长；多语言多模型蒸馏。将多个多语言教师蒸馏至单一模型，从而提供更优的教师指导信号。

再次，融入细粒度的语言特征，帮助模型克服训练不足的困难，解决低资源语言学习不足的问题，使其适应不同语言的形态特征。

例如，对于一些具有特殊书写系统的低资源语言，在CoFe中引入额外的分词系统，以少量的数据微调帮助模型更快地掌握理解语言的能力。

这样机器就可以通过类比少量的其他语言语料库来学习这种语言，减少了大量的收集语料库、语音标注等工作。

在另一项更注重小语种语音技术的OpenASR比赛中，科大讯飞-中国科技大学-NELSLIP联合团队参加了全部15个语言限制赛道和7个语言非限制赛道，全部获得第一名。

小语种语音数据的获取难度不仅在于语音数据的数量，还在于语料的丰富程度、发音词典的大小以及标注的准确性。对于很多低资源语言来说，别说上万小时的语音数据，就连100小时的标注数据的获取都很困难。

因此，世界语音学术领域的权威机构NIST(National Institute of Standards and Technology)于2020年底举办了Open ASR(开放自动语音识别)比赛。

今年，语言的数量已经增加到15种语言，包括受限条件、受限加和受限条件。

此外，比赛中各语种的数据主要来自电话渠道，口语化特征非常明显，对话风格非常自由，这也使得语音识别难度加大。

语言

语言

语言

广州人

普什图语

他加禄语

瓜拉尼语

索马里人

格鲁吉亚人

爪哇人

泰米尔人

哈萨克人

库尔德人的

越南人

阿姆哈拉语

蒙古人

斯瓦希里语。亦称KISWAHILI

现代波斯语

在竞赛中，团队提出了基于语音和文本统一表达空的统一空间表示半监督ASR (USRS-ASR)框架，这一成果也验证了这一算法的良好推广性。

15种语言的限制曲目结果

在受限赛道上，由于每种语言只有10个小时的语音数据，所以使用少量的文本数据，通过无监督的方法增加语音训练数据的多样性是非常重要的。

团队使用Flow-TTS语音合成来扩展训练数据，并使用语音属性解耦技术来保证合成语音的多样性。

结果表明，无监督数据放大方案能够稳定且显著地提高低资源语音识别任务的效果。

结果在7种语言的无限制跟踪

在无限制赛道上，虽然可以使用公共语音数据，但是数据总量仍然只有几百个小时，语音数据和文本数据的量级差异非常明显，对于端到端的识别框架来说更为明显。

为了在端到端的统一框架下充分利用少量的语音数据和海量的文本数据，团队提出了基于语音和文本之间统一表达的半监督语音识别框架USRS-ASR空:

文本掩码语言模型任务、合成数据语音识别两个目标，两个任务联合训练以充分利用海量无监督文本；共享语言解码模块，实现了语音和文本隐层表达空间的统一，大大缓解了低资源语种的数据稀疏问题。

顶天立地，22年坚守

科大讯飞已经在让机器听、说、理解和思考的道路上攀登了22年。

一次获得15种语言22项一等奖，让机器阅读40种语言等重大成果，都体现了讯飞在人工智能领域一直有着不屈不挠的追求和坚持。

那么，科大讯飞为什么要扮演这个角色呢？

人工智能的发展并不局限于如何把AI的一项技能训练到炉火纯青，而是如何让它变得更聪明，也就是达到通用的人工智能。

目前人机交互是大势所趋。当万物互联，语音成为人机交互的关键入口，语音输入、语音搜索、语音交互等技术成为手机、车辆、玩具等智能产品的标配。

据统计，2020年，即使在疫情下，中国电子和汽车出口总额也将超过3000亿美元。这些出口的智能设备对多语言技术有着强烈的需求。

此外，“一带一路”的建设有赖于语言交流，多语翻译技术的价值凸显。

近年来，多语种语音和语言技术涉及国家安全信心等重要方向，成为Nuance、Google等科技巨头布局的重点技术方向。

另外，国际形势不确定，技术竞争激烈，急需解决国内自主研发问题，打破多语种技术被卡住的问题。

在这种背景下，科大讯飞承担了这一重任，投入大量精力进行大规模多语语音语言技术的研发，希望解决多语的技术难题。

过去一年，讯飞在关键语言上不断迭代进化，在语音识别、语音合成、图文识别、机器翻译等方面取得一系列新进展。

比如24种语言的合成自然度MOS评分超过4.0，35种语言的听写场景语音识别正确率超过90%，18种语言的文档拍照场景正确率超过90%，36种语言的口语场景人工评分保真度超过4.0。

领先的多语言语音语言技术有力地支持了科大讯飞智能硬件产品的创新和应用。

就多语种翻译而言，2016年发布的讯飞翻译机开创了AI翻译机新品类，目前已经推出四代，覆盖全球近200个国家和地区。2019年，它提供了超过5亿次翻译服务。

今年5月发布了一款双屏翻译机，可以准确实时翻译，语言选择多。

中外互译多达60种，五种汉语方言和英语，两种难懂的民族语言(藏语和维吾尔语)也可以翻译成普通话。

用户可以在另一边一边说话一边翻译，只需按下说话，松开即可翻译，可以实现0.5秒的快速响应。

此外，讯飞的智能录音笔还可以支持10种语言的语音转写和分离。

就SR302而言，不仅支持粤语、重庆话、贵州话等12种方言的转录，还可以转录英语、日语、法语等10大语种。

在多语言服务方面，讯飞的同传系统已经能够支持9种语言的字幕实时转录和翻译。

前段时间，在中国驻欧盟使团与欧盟农业总司联合举办的中欧地理标志产品推介视频交流会上，讯飞听说同传全程提供抄录技术服务，可见实力不俗。

目前，科大讯飞的多语种技术和应用也得到了国家领导人和社会各界的广泛认可。

并成为北京2022年冬奥会、冬残奥会官方自动语音转换翻译独家供应商，助力打造人类历史上第一届信息沟通无障碍的奥运会。

一路走来，正是对源头技术的不懈攻坚，让讯飞在语音合成、语音识别、机器阅读理解等多项国际核心技术大赛中勇夺冠军。，树立了人工智能发展史上的多个里程碑。

正如科大讯飞董事长刘庆峰所说，人工智能的发展要一往无前。

现在，讯飞正在不断践行这种“顶天立地”的理念。未来的路还很长，还有更高的山要爬。

参考资料:

https://new.qq.com/rain/a/20210111a0bwx500

https://www . Microsoft . com/en-us/research/blog/Microsoft-turing-universal-language-representation-model-t-ulrv 5-tops-Xtreme-leader board-and-trains-100 x-faster/？mc_cid=3d43a11ddd

https://sites.research.google/xtreme