科研动态

首页>学术科研

信息科学学院师生携四篇论文参加语音领域国际会议INTERSPEECH 2022

发稿时间:2022-09-28 浏览次数:

INTERSPEECH由国际语音通信协会ISCAInternational Speech Communication Association)组织。该会议每年举办一次。今年大会是第23INTERSPEECH会议。本届会议以“Human and Humanizing Speech Technology”为主题,会议强调用跨学科的方法来解决语音科学和技术的各个方面的问题。会议研究成果代表着语音相关领域的最新研究水平和未来的技术发展趋势。INTERSPEECH是世界上最大、最全面的口语处理科学技术会议,也是学界公认的语音领域的两大学术盛宴之一。本届大会包括线下会议和线上虚拟现实会议。

华体会体信息科学学院每年都有若干论文被该会议录用,今年再次携四篇论文参加虚拟会议。被录用的四篇论文涵盖了发音偏误自动检测、声音和听力障碍、三维发音模型等多个方面。具体论文内容如下:

1.发音偏误自动检测(两篇)

An Alignment Method Leveraging Articulatory Features for Mispronunciation Detection and Diagnosis in L2 English(与腾讯研究院合作论文)

(作者:Qi Chen , Binghuai Lin , Yanlu Xie*

目前大多数发音偏误检测系统都是基于音素识别的方法,很少有研究利用二语学习者在练习发音时已经预先提供的参考文本。本文提出了一种基于发音方式和发音位置的对齐方法将参考文本的音素序列与二语学习者的语音对齐。在得到对齐结果后,我们将参考文本的音素向量和每个语音帧的声学特征拼接起来作为输入。借助发音属性的约束,参考文本信息成为额外的模型输入,其中的有效信息被利用,而误导信息将被剔除以避免将二语学习者的错误发音识别为正确发音。

Self-Supervised Learning with Multi-Target Contrastive Coding for Non-Native Acoustic Modeling of Mispronunciation Verification东京工业大学合作论文

(作者:Longfei Yang, Jinsong ZhangTakahiro Shinozaki )

非母语错误发音确认是计算机辅助语言学习系统的一个重要组成部分。然而,由于缺少非母语数据,以监督学习的方式对非母语声学模型准确建模成为一个难题。本文提出了一种基于多目标对比编码自监督学习预训练方法,利用大量母语数据,对二语声学模型建模。该方法通过对不同对象进行对比研究预测,学习不同语言之间语音结构差异的表征,以完成非母语声学模型的建模。

2.声音与听力障碍

A Study of Production Error Analysis for Mandarin-speaking Children with Hearing Impairment(与腾讯研究院合作论文)

(作者:Jingwen Cheng, Yuchen Yan, Yingming Gao, Xiaoli Feng, Binghuai Lin, Jingsong Zhang*

近年来,听力障碍儿童的语音产出问题受到了越来越多的关注。以往关于汉语中听力障碍儿童语音产出的研究大多使用了较少的发音材料,本文在较大规模语料的基础上系统探讨了听力障碍儿童辅音和元音的产出情况。实验包括了60名听力障碍儿童,以及153音节词和145音节词作为发音材料结果发现,辅音中双唇音的产出正确率高于其他部位的辅音,从发音方法来看,塞音和鼻音习得较好,塞擦音习得最差。单元音的产出正确率低于复合元音。首辅音主要使用具有相同发音特征的辅音进行替换。元音的主要错误类型包括替换、双元音化以及双元音或三合元音缩减。本研究对听力障碍儿童的语音康复教学具有一定借鉴意义。

3.三维发音模型

AVR Interactive 3D Mandarin Pronunciation Teaching Model

(作者:Yujia Jin,Yanlu Xie*, Jinsong Zhang

论文展示了一种清晰度更高、交互更友好、用户体验更舒适的VR交互式汉语语音教学系统。系统提供四种学习模式:声母韵母词语易混淆发音。学习者可根据学习需求切换演示视图,自定义3D解剖模型生理结构的可视化程度,控制3D动画播放速度,改变观察角度及模型方位,更清晰地观察发音器官的运动和变形。此外,系统还提供语音辅助指导,如发音方法、2D口腔剖面动画、关键发音区域易混淆发音对比等,帮助学习者理解汉语发音要领。



[打印本页] [关闭本页]

]]>
Baidu
map