0
雷锋网AI科技评论按:本文将推荐4篇精选前沿论文,以供参考学习。每篇荐文将包含推荐人简评、推荐人研究方向等。如对论文有疑问或者想进一步交流,欢迎大家联系推荐人共同讨论。
本文内容转载自哈尔滨工业大学社会计算与信息检索研究中心 公众号(微信ID:HIT_SCIR)的「赛尔推荐」栏目第1期,可关注公众号获得更多资讯。雷锋网AI科技评论获其授权转载。
推荐组:SA
推荐人:吴洋(研究方向:情感分析)
论文题目:Refining Word Embeddings for Sentiment Analysis
作者:Liang-Chih Yu, Jin Wang, K.Robert Lai and Xuejie Zhang
发表会议/期刊:EMNLP 2017
论文主要相关:词向量,情感分析
简评:这篇文章发表于ACL 2017。很多任务上都在使用预训练词向量,因为词向量中蕴含着语义信息。但词向量在情感分析任务上的使用存在一个问题,即由于词向量着重体现的是语义信息,导致对于一些语义相近而情感相反的词没有区分度,如bad与good。所以直接使用通用的预训练词向量可能会降低模型的效果。因此,我们需要使用带有情感信息的词向量。本文亮点在于仅仅使用情感词典,来迭代的调整预训练的词向量,使得在保证一定语义关系的情况下,语义相近,情感不同的两个词,距离更远;语义相近,情感相同的两个词,距离更近,从而得到既有语义信息还带有情感信息的词向量。
论文链接:https://www.aclweb.org/anthology/D/D17/D17-1056.pdf
推荐组:SP
推荐人:段俊文(研究方向:文本挖掘)
论文1题目:NEURAL SPEED READING VIA SKIM-RNNSKIP RNN
论文1作者:Minjoon Seo, Sewon Min, Ali Farhadi, Hannaneh Hajishirzi
论文2题目:LEARNING TO SKIP STATE UPDATES IN RECURRENT NEURAL NETWORKS
论文2作者:Victor Campos, Brendan Jou, Xavier Giro-i-Nieto, Jordi Torres, Shih-Fu Chang
这两篇论文的第一作者分别来自华盛顿大学和谷歌公司。
发表会议/期刊:ICLR 2018
论文主要相关:循环神经网络
简评:循环神经网络(RNN)是序列建模中的常用的模型,其不足包括计算效率不高,较长序列时可能出现梯度消失或者梯度爆炸的问题。推荐的两篇文章的思路比较类似,要解决的也是同样的问题,即在不影响准确率的前提下尽可能提高RNN的计算效率。两篇文章提出的方法分别叫skim-rnn和skip-rnn,从名字可以看出来,他们都是通过跳过某些输入,达到快速计算的目的。因此在计算的每一步都需要确定该输入是否被跳过。但是两篇处理的具体方式不同,如果该输入被跳过,skim-rnn用一个small rnn更新隐含状态的前若干维而skip—rnn则直接复制上一个隐含层的状态。两篇文章都表示自己的模型计算效率提升但是准确率保持不变或小有提升。这两篇文章提供了一些通过修改RNN结构达到快速计算的新的思路。
论文链接:
论文1:https://arxiv.org/pdf/1711.02085.pdf
论文2:https://arxiv.org/pdf/1708.06834.pdf
代码:
论文1:https://github.com/imatge-upc/skiprnn-2017-telecombcn
论文2:https://github.com/schelotto/Neural_Speed_Reading_via_Skim-RNN_PyTorch
推荐组:TG
推荐人:冯掌印(研究方向:文本生成)
论文题目:Selective Encoding for Abstractive Sentence Summarization
作者:Qingyu Zhou, Nan Yang, Furu Wei, Ming Zhou
发表会议/期刊: ACL 2017
论文主要相关:sequence-to-sequence、选择机制、摘要生成
简评:这是一篇发表于ACL 2017的论文,作者认为生成摘要和机器翻译有明显的不同,机器翻译需要保留所有信息而生成摘要只需要保留部分重要信息,生成摘要应该分为三个步骤:对句子进行编码、选择重要信息和解码。因此在传统的sequence-to-sequence框架下,作者加入了选择机制,利用该选择机制,对Encoder产生的表示进行过滤,只保留重要信息,然后Decoder利用过滤后的表示进行解码,得到最终的摘要。在多个数据集下对比了该模型与以往模型,实验做得很充分,文章也对选择机制的有效性进行了说明。
论文链接:https://aclweb.org/anthology/P/P17/P17-1101.pdf
大事专用区
雷锋网:如果您在自己的研究和学习过程中也有想要分享的优质文章,请将推荐文章及相关信息通过邮件发送到zengbingyu@leiphone.com 或 微信联系(zengbingyu1018)。推荐内容包括:
1. 论文名字
2. 作者/机构
3. 录用渠道(选填)
4. 论文领域
5. 推荐简介(200-300字)
相关文章:
雷峰网版权文章,未经授权禁止转载。详情见转载须知。