大家关注已久的“CCF-NLP走进高校”系列高校NLP研究分享报告会第三期,11月8日 18:30-21:35精彩继续!为了促进更多师生对自然语言处理前沿进展的了解,帮助在校计算机及相关专业大学生成长和发展,CCF-NLP致力于让领域内的权威大牛们走进更多的高校,与师生进行沟通和交流。自然语言处理专委会为此将举办一系列 CCF-NLP走进高校系列活动。 在“CCF-NLP走进高校”前两期:走进“华南理工大学”和走进“郑州大学”的分享会上,专家们围绕自然语言处理做了精彩报告,在AI研习社、Bilibili等平台上观看超过8万人次,报告会反响热烈。CCF-NLP走进华南理工大学:https://www.yanxishe.com/blogDetail/20930CCF-NLP走进郑州大学:https://www.yanxishe.com/blogDetail/2143011月8日“CCF-NLP走进高校”第三期将走进美丽的“河北科技大学”,为同学们带来NLP领域最前沿的研究成果和未来发展趋势。本次活动邀请到三位NLP领域的资深权威学者,分别是:嘉宾们将围绕机器翻译中的注意力机制及其控制、非自回归多模态翻译、对话系统的两个挑战三大主题展开分享,为同学们接触NLP前沿资讯提供新颖的解读视角。本期活动由中国计算机学会自然语言处理专业委员会(CCF-NLP)主办,河北科技大学、AI研习社联合承办,AI科技评论和机器学习算法与自然语言处理作为战略媒体,活动将结合线上直播分享和河北科技大学线下分享方式举行。AI研习社直播地址:https://www.yanxishe.com/events/ccf-nlp-hduB站直播地址:http://live.bilibili.com/2249483103 / 分享主题:机器翻译中的注意力机制及其控制
深度学习方法在机器翻译和自然语言处理中取得了巨大的成功。注意力机制通过参数的自动学习进行有选择的信息获取,在复杂任务的学习过程中起到了非常重要的作用。本次报告简单介绍注意力机制,以及本实验室三个与注意力机制相关的工作,分别关注于注意力机制和位置建模的关系、多注意力头控制对翻译的影响以及篇章机器翻译中的注意力。相关论文发表于ACM/IEEE TASLP、AAAI2020和IJCAI2020上。多模态翻译任务是指在不同模态的数据(包括文本、语音、图像或视频等)之间进行互相转化的任务,例如:语音合成、语音识别和唇语识别等,它们旨在通过机器学习或深度学习的方法理解源模态信息并生成目标模态数据。当前,多模态翻译具有以下挑战:1、不同模态数据之间通常具有语意(信息量)差异,例如:在语音合成中,语音比文本包含更多的韵律和情感信息,而在唇语识别中,文本比视频包含更明确和清晰的语音信息,这使得多模态翻译模型具有预测和填补缺失的信息的能力;2、不同模态数据之间通常具有长度差异,例如:语音和视频的序列通常会比文本长得多,因此多模态翻译模型需要解决数据之间长度不匹配问题,并找到其中的映射关系。针对以上挑战,最近的工作提出了一些较为有效的解决思路:基于编码器-解码器的序列生成自回归模型、基于时长预测模型和脉冲神经网络的非自回归架构均可以较好地预测和填补缺失的信息,并解决长度不匹配问题。本报告将首先介绍当今主流的多模态翻译任务,然后介绍几个具有启发意义的多模态翻译工作,最后对未来可能的研究方向进行思考与展望。对话系统是自然语言处理的重要应用之一,近两年随着深度学习技术的进步而受到越来越多关注。然而,实际应用的对话系统,包括闲聊对话和任务对话都面临着许多尚未解决的挑战。在这次报告中,我将介绍两个具体挑战和实验室的初步研究。具体而言,对于闲聊对话,社会常识和场景的识别具有重要意义,只有理解对话情境,才能做出有理有据地回答。然而,当前的闲聊对话系统对社会常识少有探讨。我们近期和微软亚洲研究院合作,标注了一套相关数据及,并且对上下文表示进行了初步测试。对于任务对话,当前方法采用端到端的机器学习策略,从手工标注中识别特定领域的对话状态。然而,世界上应用领域繁多而层出不穷,手工标注过程复杂,质量难以保证。我们尝试研究利用隐变量深度学习,自动探究客服对话记录中所隐藏的用户意图和对话状态,对这个挑战进行了开始尝试。进群获取更多信息
请扫描下方二维码进入交流群
群满,需入群请添加助手二维码
本期活动为CCF-NLP走进高校系列分享活动第三期,第四期将在11月29日,走进“新疆大学”,敬请期待~
雷峰网原创文章,未经授权禁止转载。详情见转载须知。