您正在使用IE低版浏览器,为了您的雷峰网账号安全和更好的产品体验,强烈建议使用更快更安全的浏览器
此为临时链接,仅用于文章预览,将在时失效
人工智能 正文
发私信给杨晓凡
发送

0

「词嵌入」和「注意力」的新发现获得CoNLL 2018最佳论文奖

本文作者: 杨晓凡 2018-11-01 09:45
导语:老戏新唱

「词嵌入」和「注意力」的新发现获得CoNLL 2018最佳论文奖

雷锋网 AI 科技评论按:国际语言学会(ACL)下属的 SIGDAT 小组主办的自然语言处理顶级会议 EMNLP 2018 即将于 10 月 31 日到 11 月 4 日在比利时布鲁塞尔举行,另一个也有不小影响力的会议,ACL 下属的 SIGNLL 主办的计算自然语言学习会议 CoNLL 2018 也将与 EMNLP 共同召开,时间为 10 月 31 日到 11 月 1 日。

10 月 30 日(美国时间 10 月 29 日),CoNLL 2018 大会公布了论文奖。雷锋网 AI 科技评论介绍如下。

最佳论文奖

Uncovering Divergent Linguistic Information in Word Embeddings with Lessons for Intrinsic and Extrinsic Evaluation

  • 从本征评价和外部评价的对比中学习,揭开词嵌入中包含的多样化语言信息

  • 论文摘要:随着单词嵌入(word embeddings)近年来获得巨大的成功,有人提出「并不存在完美的单词表征」的观点,因为不同的模型总会倾向于捕捉不同的语言成分,有时候甚至是互相冲突的成分, 比如语义还是句法,以及相似度还是关联性。在这篇论文中,作者们表明了每种词嵌入模型捕捉的信息实际上都比直接体现出的要多。无需任何额外的资源,一个改变模型的相似性顺序的线性变换就可以让它在这些方面展现出更好的表现,这为我们提供了新的视角来理解嵌入对多种语言信息的共同编码。除此之外,作者们也探索了本征评价方法与外部评价方法之间的关系,他们发现所用的线性变换对后续任务产生的影响中,对于无监督学习系统产生的影响比有监督学习系统更大。

  • 论文地址:http://aclweb.org/anthology/K18-1028 

特别奖 - 受人类语言学习和处理启发法的最佳研究论文

Sequence Classification with Human Attention

  • 利用人类注意力的序列分类

  • 论文摘要:学习注意力函数需要非常大规模的数据,不过有很多自然语言处理任务都是对人类行为的模拟,在这篇论文中作者们就表明人类的注意力确实可以为 NLP 中的许多注意力函数提供一个不错的归纳偏倚。具体来说,作者们根据人类阅读语料时的眼睛动作追踪数据估计出了「人类注意力」,然后用它对 RNN 网络中的注意力函数进行正则化。作者们的实验表明,人类注意力在大量不同的任务中都带来了显著的表现提升,包括情感分析、语法错误检测以及暴力语言检测。

  • 论文地址:http://aclweb.org/anthology/K18-1030

更多 CoNLL 2018 及 EMNLP 2018 报道,请继续关注雷锋网 AI 科技评论。

雷峰网原创文章,未经授权禁止转载。详情见转载须知

「词嵌入」和「注意力」的新发现获得CoNLL 2018最佳论文奖

分享:
相关文章

读论文为生

日常笑点滴,学术死脑筋
当月热门文章
最新文章
请填写申请人资料
姓名
电话
邮箱
微信号
作品链接
个人简介
为了您的账户安全,请验证邮箱
您的邮箱还未验证,完成可获20积分哟!
请验证您的邮箱
立即验证
完善账号信息
您的账号已经绑定,现在您可以设置密码以方便用邮箱登录
立即设置 以后再说