清华大学电子系语音与音频技术实验室提出新型低资源关键词检索技术

阅读:9998
字数:
发布:2021-11-04 22:44

近日,清华大学电子工程系语音与音频技术实验室提出了一种端到端的基于注意力机制和能量评分器的关键词检索系统。该系统摆脱了语音识别的依赖,并且取得了超越传统方法的性能,尤其适用于低资源小语种关键词检索任务。

关键词检索即为在连续的语音流当中检测和定位用户给定的关键词的技术。在移动设备广泛应用、海量音视频源源不断产出的今天,关键词检索能有效提高信息检索的效率和多媒体资源的利用率。传统的关键词检索技术依赖于连续语音识别系统,即先使用语音识别系统得到识别结果(一般为多候选结果),然后再从识别结果之中寻找关键词并进行置信度估计。然而,训练出一个可靠的语音识别系统往往需要大量的标注语音数据,对于低资源语种,即可用的训练数据较少的语种,传统的方法往往会遇到一些困难。

为了解决低资源语种可训练数据少而制约关键词检索效果的问题,本工作采用的框架不再依赖于语音识别系统,大大降低对数据资源的依赖。以下是系统的整体结构框图:该系统主要由四部分组成,包括语音编码器(SpeechEncoder),文本编码器(QueryEncoder),注意力机制(AttentionMechanism)以及能量评分器(EnergyScorer)。

图1:端到端关键词检索系统的整体架构

语音编码器和文本编码器经过特殊设计,采用联结时序分类(ConnectionistTemporalClassification,CTC)、基于注意力机制的序列到序列以及自监督训练等方法,使得生成的语音特征和文本特征包含关键词检索所需要的序列信息。其中,语音编码器结构如下图所示:

图2:语音特征提取过程以及使用联结时序分类或基于注意力的解码器从语音特征中预测字符或音素序列

然后,将语音和文本特征输入注意力机制和能量评分器,得到最终的评判结果。注意力机制和能量评分器,专门为关键词检测所设计,是本工作的两个重要创新点,也是超越传统方法的关键所在。图3演示了注意力权重在正负样本上的差异;图4是能量评分器的具体结构。

图3:负样本(左)和正样本(右)的注意力权重

图4:能量评分器的结构

课题组首先根据注意力权重对语音特征进行加权求和从而得到上下文特征。接着,通过计算上下文特征和语音特征的能量比。最终,课题组将能量比和由文本特征经过多层感知机得到的门限进行比较从而得到最后的判决结果。

该系统有效解决了低资源小语种缺乏标注数据和专家知识所带来的制约,使得关键词检索技术在相关领域迈向实用。该论文发表于《神经网络》(NeuralNetworks),题为“基于注意力机制和能量评分器的端到端低资源语种关键词检索系统”(End-to-endkeywordsearchsystembasedonattentionmechanismandenergyscorerforlowresourcelanguages),第一作者为清华大学电子工程系硕士研究生赵泽宇,通讯作者为其导师张卫强副研究员。

清华大学电子工程系语音与音频技术实验室近年来专注于低资源语音识别和关键词检索研究,主持国家自然科学基金联合重点项目和国家重点研发计划重点专项课题,2020年在美国国家标准与技术研究院(NIST)主办的语音分析评测OpenSAT2020关键词检索任务取得国际第一名,在OpenASR2020低资源语音识别挑战赛中十个低资源语种取得四个国际第一名。

猜你喜欢
7月8日,天津大学与中央国家机关政府采购中心(简称“国采中心”)签订远程评标合作协议。国采中心主任何长..
2021-11-10 21:26
5249
555
8月6日上午,华东师范大学等46所国内“双一流”高校应黑龙江之约相聚云端,共谋合作发展。华东师范大学党委..
2021-11-11 01:13
7591
217
7月28日,同济大学电子与信息工程学院控制科学与工程系青年教师雷金龙研究员与衣鹏研究员、李莉教授合作的论..
2021-11-10 17:45
2882
135
7月20日,土木工程学院院长杨庆山、防灾所教授刘纲等一行前往山西省平遥县,参加了平遥县深化县校合作集体签..
2021-11-10 22:42
1333
626
为进一步推进学校教育教学质量管理体系建设,提升教育教学质量,8月6日上午,天津大学-同济大学教育教学质量..
2021-11-10 20:19
1589
211
近日,有网友在人民网领导留言板上提出“关于淮北师范大学更名的建议”。网友留言称,“淮北师范大学为安徽..
2021-11-10 23:07
3070
619
北京时间7月21日晨,Radiology(《放射学》)杂志在线发表了同济大学附属上海市肺科医院超声科王茵教授团队..
2021-11-10 15:56
1633
346
9月22日,浙江大学与中国航天科工集团有限公司全面战略合作协议签约仪式在紫金港校区举行,名校名企合作迈上..
2021-11-10 17:22
2722
296
近日,上海中医药大学创新中药研究院林国强院士团队张建革课题组在《ACSNano》在线发表文章“Bacteria-Anch..
2021-11-10 19:28
2483
441
8月6日,黑龙江省举行省校合作线上推进会暨集中签约仪式,与北京大学、清华大学、复旦大学、浙江大学、南京..
2021-11-10 23:07
1151
92
近日,天津任免一批干部,4所高校迎来新任校领导。其中位列首批“世界一流学科”建设高校的天津医科大学迎来..
2021-11-10 22:14
1182
91
9月3日下午,中国人民大学2021-2022学年秋季学期工作部署会召开。校领导靳诺、刘伟、吴付来、郑水泉、刘元春..
2021-11-10 19:38
4296
594
风华七秩,薪火不息。2021年10月16日是中央民族大学建校70周年庆典日。自校庆第一号公告发布以来,全校师生..
2021-11-10 14:27
3464
57
7月28日上午,山东大学健康医疗大数据研究院(威海)揭牌仪式在威海市立医院举行。山东大学副校长、威海校区..
2021-11-10 13:51
5291
309
近日,同济大学电子与信息工程学院齐鹏老师领衔的师生科研团队在医工交叉领域设计研发了全自动静脉采血机器..
2021-11-10 13:46
1394
602
了解更多 "高校" >>
开始评论(0)
评 论