2
| 本文作者： 汪思颖 | 2017-10-31 16:14 |
雷锋网 AI科技评论消息，由法国萨克雷大学主办的2017全球高校学生数据科学大赛（Data Science Game 2017）近日落下帷幕。在初赛上，来自中国的Medicinovo Inc.（诺道医学）团队一路过关斩将，最终获得全球第八、全美第一的佳绩；决赛中酣战20多个小时，Medicinovo Inc.（诺道医学）团队成功挤进全球前20强。
雷锋网 AI科技评论第一时间联系到团队成员王则远，就他在参赛过程中的一些诀窍和经验展开了探讨。
他们团队共有四名成员，大家都为美国史蒂文森理工大学商业智能与分析专业（数据科学方向）硕士生，其他三名队员分别是张仁宇、刘畅、张璐。
在比赛过程中，王则远主要负责确定初步的算法思路以及数据的一些处理方式，另外的同学主要负责编写爬虫，实现并行运算，处理缺失值和变量等。大家在比赛中分工合作，并结合自己的经验进行了充分探讨。
上图从左至右：张仁宇，张璐，王则远，刘畅
试题讨论
据王则远介绍，在初赛中，主办方为选手提供了Deezer上用户一个月的听歌历史数据，通过分析历史数据，他们需要预测用户是否会喜欢Deezer推荐的歌曲。这个问题被归纳为二分类问题，与广告点击率、用户的购买行为预测等系统类似。
“目前业界对这类问题的关注很多，例如腾讯的社交广告算法大赛，阿里云的广告点击率预估算法等。不过音乐跟前面提到的广告算法其实还是有一些差别的，很典型的一点就是音乐需要考虑的维度更多，比如说歌曲特性、歌手特性，甚至是语言，另外还有国家、地区的特性，用户的喜好等。这次比赛提供的数据集就覆盖了欧洲、美洲、非洲以及一些西班牙语地区等。”
音乐推荐系统中需要关注的点有这么多，那么Medicinovo Inc.（诺道医学）团队在这次比赛中是如何考虑的呢？
在与雷锋网 AI科技评论的交流中，王则远表示，总的来说，这次比赛需要考虑的特性可以归为用户、歌曲和歌手这三个大的维度。此外他也向记者阐述了这次比赛与广告算法、用户购买推荐系统具体的不同点：
音乐需要考虑到歌手的特性，而广告算法需要考虑的可能只是广告特性和用户特性，大家不用考虑广告制作人的特性。另外用户购买行为推荐系统也是一样，并不会说喜欢某个人做的推荐系统算法，就会喜欢这个人做的算法推荐出来的东西。
比赛过程
主办方提供的基础数据集有30多个变量，原始数据有500多万条，这些数据大概涉及到3万多个用户。除了这些基础数据，主办方还另外公布了一个API链接，里面涉及到音乐网站上相对而言不那么重要的数据。
“参赛选手需要编写爬虫下载这些数据，然后再把所有的数据结合起来，得到整体数据集。”王则远说道。
拿到整体数据集之后，他们就开始进行一系列预处理操作了，包括缺失值的检验、变量间的相互独立性、偏斜性，还有一些异常值的检测、降维等。
他们团队在降维过程中具体用到什么算法？有什么经验可以分享呢？
王则远对AI科技评论讲解到，
“这次比赛用的降维算法主要是PCA和高斯映射。在进行降维时有一个小诀窍，在把各个非连续变量拟合成连续变量的时候，不要只用PC拟合出主成分，可以试一试把主成分放回到原有数据当中，比如原来有一百个变量，拟合出一个主成分，将主成分再放回数据集，变成101个变量，然后再进行结果的预测，可能会发现意想不到的效果。”
数据预处理之后呢？王则远表示，他们把所有数据结合起来之后，只得到了40个左右的变量。“用这些变量肯定没办法跟其他选手进行PK，所以需要利用变量工程挖掘出一些新的深度信息。”
他进一步阐述到，在这次比赛当中，变量工程主要是提取歌曲、歌手特性等。“例如我们需要对歌手名字进行解析，去看这个名字是属于什么语言，然后再把歌手与国家结合起来，挖掘出一些更深度的特性。歌手的性别、风格，在哪段时间最火，这些也要考虑到。”
歌手风格是如何提取的呢？在推荐系统中能起到什么作用？王则远说道：
歌手可能会分为乡村、民谣、摇滚等风格，但我们无法提取出风格，不过可以提取用户在不同的时间段（如上午、下午、晚上）分别喜欢听什么歌，然后再把歌手对应起来。在早上上班或是精力比较旺盛的时候，大家可能会想听一听摇滚风的歌手，而在晚上比较累的时候，大家可能就会想听一些舒缓的歌，就可以为大家推荐舒缓曲风的歌手。
谈完歌手之后，他也详述了在歌曲的处理中所使用的一些方法。
“其实歌曲和歌手的特性很接近，不过歌曲会存在专辑和播放时间的问题。歌曲的时长分布基本属于正态分布曲线，大致集中在一到三分钟之间。对于歌曲的时长，我们会设定一个阈值，比赛当中设定的是小于30秒和大于十分钟，小于30秒的歌曲全部会归为30秒，大于十分钟的全部归为十分钟。”
在变量工程中，他们还发现了哪些有意思的事情呢？
王则远表示，在这次比赛中，他们发现把歌曲在专辑中的位置跟歌曲特性结合起来，对识别主打歌作用很大。而这也带来了新的思考：这些特性的发现，都需要大家不断去想，不断去尝试。
另外，他也提到实验中这一阶段的一些小诀窍：
“做变量工程的时候，需要分开去试。我们在实验中会先提取一些深度特性，然后是一次加三个新特征，再看删去哪一个精度会上涨，通过这种方式一点点去删除，这样才形成最后的那套数据集。”
变量工程是实验中需要重点考虑的一环，除了变量工程，还有哪些是需要重点考虑到的呢？
据AI科技评论了解，这次比赛历时只有一个多月，远远短于Kaggle上的大多数比赛，对于这种时间紧、任务重的比赛，所以也需要考虑到速度。
王则远表示，他们试过在Kaggle比赛中使用频率较高的XGboost，但要想跑完数据集需要30个小时左右，这样会对后续的调参影响很大，而LightGBM能把时间压缩到三个小时，因此在模型训练阶段最终使用的是LightGBM。另外，在Stacking阶段他们也选了一些速度比较快的算法，这样能相对快速去进行调参。他同时也提到一点，在选取Stacking算法的时候也需要考虑到数据集的大小以及算法的多样性。
除了对模型和算法的考虑，他们还集合大家所有的计算资源，搭建了一个局域并行环境。
“在搭建小型局域网络之后，相当于把数据分拆成四个部分，然后分别放到四台电脑上去。这样去跑模型会稍微快一点。”他对AI科技评论这样说道。
除了前面提到的这些工作，像这种大量数据集，最容易遇见的问题肯定是过拟合了。那么，为了防止过拟合，他们做了哪些工作呢？
“调参的目的是为了防止过拟合。对于过拟合问题的话，我们需要进行正则化。加正则项之后，我们每次不会考虑所有的样本，可能会抽取80%进行考虑。在实验中的调参阶段，我们先调的是subsample和d-level这两个参数，最后调学习率。”
他进一步说道，“另外还有树的深度和广度。像这种比赛中树的深度一般是在3、4、5这三个数之间，广度基本上默认的就OK。”
此外，他表示，为了防止过拟合，在实验中也需要跑交叉验证。这次实验他们选择的是5-fold交叉验证，在数据集中，每次抽20%，连抽五份，抽出来部分的当测试集，剩下四个当训练集。
比赛中碰到的问题
在这次比赛中，会碰到哪些比较罕见的情况呢？他们又是怎么处理的？
王则远对AI科技评论说道，在这次比赛的测试集中，一个用户只放了一个ID，不像平常是随机抽取测试集的，这样的话ID有可能有重复，因此很容易对模型成大量干扰，产生过拟合。
“这种情况我们见得比较少，这可能是符合真实世界的一种情形，我们也试了很多种特征工程方法。最开始原始数据里没有排行榜，比如歌曲的年度推荐排行榜或者月度推荐排行榜，但是里面有这首歌被听的时间，那我们就可以提取出时间信息做出排行榜。基本上比赛的最后阶段我们都在做特征工程，也试了很多方法，才一点一点把问题攻克掉。”
他也提到，在这种情况出现的时候，他们当时还发现了一个神奇变量——歌曲月度推荐排行榜。加入这个变量之后，影响非常大，实验的精度提高了很多。
对大家的建议
在采访的最后，他也分享了他的一些比赛经验：
首先来说，类似这种比赛的数据集，其实70%的努力都是在变量工程上。如果变量工程做得好，最后的结果一定不会很差，它的重要性要远比建立一个好的模型要高，所以建议大家把精力大部分都要放在变量工程上面。
如何做好变量工程呢？AI科技评论对他提出了这个问题。
这个其实也没有定式，是要充满想象力一些，提取出变量的深度特性。我们现在所有的模型都是在关注列，但要以行为基准去进行变量工程的操作。在这个过程中，还是以group by为主，把行进行拟合变换。这是一种很好的方式。另外还有现在的降维算法，大家也要多多考虑。
另外，这个比赛的数据是非连续变量，非连续变量与连续变量相比，相当于是损失了一部分信息，难度会稍微大一些。它的维度很高，对于模型的判别存在很大的干扰，噪音数据的量可能稍微大一些，降维的时候也比较费劲。总的来说非连续变量存在很多问题，提取深度特征的时候也比较难。现在市面上有很多的方法，大家需要多多关注，在非连续变量有着天生缺陷的情况下，通过特征工程如何把它拟合成一个新的连续变量去处理。
最后，现在国内的比赛也在慢慢变多，但我觉得大家对这种类型的比赛重视程度稍微差一些，这个比赛其实跟真实世界很像。大家后续可以多关注一下这类比赛，多多参与，多多积累经验。
比赛扩展
除了对比赛的一些经验分享，他也对比赛和现在的实际情况提出了自己的看法：
这次比赛中遇到的问题确实是现在实际应用当中的一个痛点，包括各大公司做的比赛也都专注在这个方面，进行用户个性化推荐系统的定制。但推荐系统现在整体的精度不是那么好，现在市面上一些音乐系统可以优化的地方还有很多，例如在真实世界的情况下，如何做好间接性推荐，这也是对推荐精度存在着影响的一个因素。
关于诺道医学：诺道医学是一家医疗人工智能领域的创业企业，开发的人工智能辅助诊断产品覆盖影像、心血管病、消化系统疾病、神经病学、临床药学等多个领域。
雷峰网原创文章，未经授权禁止转载。详情见转载须知。
