0
近期，《美国新闻与世界报道》（U.S News & World Report，以下简称USN&WR）发布了其2018年度全球大学及各个学科排名。（雷锋网报道：US News 2018年全球大学排名最新出炉，清华大学计算机专业问鼎全球Top1 ！）
其中较为引人注目的是，在其世界大学计算机学科的排行榜中，清华大学排名全球第一，华中科大和浙江大学也分别进入前十；而一些世界著名的高校，例如MIT、斯坦福、哈佛分别只排到第4、第6和第7名；卡内基·梅隆大学甚至仅排名第22名。
在USN&WR发布出这份排名后，国内学者普遍认为这不过是一个笑话。清华大学助理教授刘知远表示：“有人夸你，当然可以乐呵一下，总比骂你的好。不过还需有自知之明，所以乐呵‘一下’就好了，该干嘛干嘛去。”
美国计算机研究协会（CRA）首先尝试了与USN&WR沟通，希望他们撤回这份排名，但没有得到USN&WR的任何回复。随后CRA在其官网上发布了一份公开的声明，指出USN&WR发表的全球大学计算机科学排名的不合理之处，并请求计算机社区的人忽视这份排名。
对于这份争议，雷锋网也第一时间在《清华计算机排名世界第一？美国计算研究协会公开抗议US News全球大学计算机科学排名》一文中做了详细的报道。为了深入了解这个事件，我们向多位学者咨询了他们的意见。
CRA的公开信中指出了USN&WR 的“三宗罪”：
1）只用期刊数据，而忽视会议论文数据；
2）USN&WR所采用的“学术声誉”指标不合理；
3）数据本身不透明。
针对这些问题，雷锋网也咨询了一些学者，大多数学者只针对第一个问题（忽视会议论文数据）发表意见，而对后两个鲜有谈论。这很大程度上是因为别的一些大学排名（例如QS世界大学排名等）都会有“学术声誉”这一指标，很难去说是否合理；另外，别的几家大学排名也大多数据不透明。
1、只用期刊数据，而忽视会议论文数据？
加州大学圣克鲁斯分校助理教授 Chen Qian解释说：US News全球CS排名的根据是SCI期刊论文数及引用数。这个数据用于其它理工科专业是没有问题的，但是不能用于CS专业，因为并没有包括CS领域里最重视的conference publications。所以我们会看到一些结果比如MIT低于南洋理工，CMU低于上海交大，UCLA低于北京邮电，沙特的阿卜杜尔阿齐兹国王大学排世界13高于普林斯顿等等。
南洋理工大学助理教授安波也表示，计算机学科和大多数其他学科不一样，CS的高水平的论文主要发表在国际顶级会议上。
所以换句话说，就相当于USN&WR用了一把错误的尺子来丈量长度，无论测量得多么认真，结果也必然是不准确的。
“不幸的是，”安波说，“基本上所有的世界大学排名中关于计算机学科的排名都没有包括会议论文。”
雷锋网AI科技评论查阅了其他几家比较著名的世界大学排名（例如QS世界大学排名）所依赖的指标，发现确实如此。所以CS排名中没有包含会议论文并不是USN&WR一家才有的现象。以QS世界大学排名为例，它同样没有采用会议论文，但是它通过调整评分指标的权重保证了学科排名的相对合理性。而相比之下，USN&WR在学科排名中，不同的学科在指标上则采用了相同的权重。
2、将会议论文纳入计算机科学排名体系，是否可行？
如果按照CRA的说法以及大多数人的观点，那么在对世界大学计算机科学排名时应当引入会议的指标。在今年9月份麻省大学阿姆斯特分校的Emery Berger教授公布了一个世界大学计算机科学实力排名的开源项目 CS Rankings。
“CSRankings 是目前唯一一个根据顶级会议文章作为依据的排名，被很多顶级科学家（如Yann LeCun）认可。”南洋理工大学助理教授安波说。
“在这个排名中，可以看到MIT、CMU、Stanford、Berkeley还是世界前四，基本符合大众的认同。清华排名世界33，上交雄踞前30。”加州大学圣克鲁斯分校助理教授Chen Qian表示。
（雷锋网注：9月初CSRanking Beta测试时，北大全球排名12，清华33，上交30。经过数据核查，排名发生更动，据2017年11月27日（2007-2017年）数据，上交大和清华并列第40名，北大排名28。）
但是简单引入会议论文指标也并非“一劳永逸”。首先，有一些优秀会议还没有被CSRankings收录。安波告诉记者说：“如我常去的AAMAS（就没有被CSRankings收录），刚刚获得NIPS 2017最佳论文的德扑系统Libratus之父Tuomas Sandholm教授从2002年开始在AAMAS发表了46篇论文，而他的成果就没有被统计在内。”
此外，安波教授告诉AI科技评论，“但将会议考虑在内后，又会引入一些其他问题，例如会议质量难以界定，CS学科内部各分支众多，如何统一会议和期刊进行统一度量等等。”
这些都还是没有明确考虑的问题。以会议论文作为指标的CSRankings排名，现在仍然会因为修改数据，排名不断出现巨大的变化。以北大为例，月末和月初的排名甚至差了16个名次。相信随着Emery Berger教授对CSRankings版本的更新，排名还会出现更大的变化。
所以从这些角度来看，USN&WR没有采用会议论文，而是采用传统的期刊论文或许也是出于这一考虑。QS世界大学排名没有使用会议论文，却仍然能够给出一个较合理的排名，说明会议论文这一指标也并非必然因素。
北京大学计算机科学技术研究所的万小军研究员认为：
每个排行榜都是基于若干指标，指标选择不同，结果自然会有差异。计算机领域排名当然也会有很多指标，而且每个人会有不同的看法，但我觉得最重要的指标还是影响力，例如图灵奖获得者以及对该领域发展有里程碑式影响的重要人物数量。计算机学科与其他学科评估没有本质的不同，都需要定义好该领域的影响力因子。
值得一提的是，世界大学学术排名（ARWU，简称 上海排名）就非常强调重要人物这一指标。
来源：维基百科
既然没有引入会议论文指标的并不只USN&WR一家，为什么CRA就单单公开抗议它一家呢？
哈尔滨工业大学朱晓蕊教授认为：“USN&WR以前（的排名）一直还相对比较稳定的，这次在排名上出现大的变动，可能是CRA会写信给他们的原因吧。十年树木，百年树人，大学的好坏从来都不是一朝一夕可以被改变的。”
安波博士也证实了这一现象：“USN&WR在美国国内的计算机专业排名好像一直将CMU排在（并列）第一位，很难理解他们为什么搞一个跟美国国内排名很矛盾的排名。”
所以其实用哪些指标不是重点，重点的是USN&WR给的结果太异常。
“当出现一个会误导社会的关于计算机学科排名的时候，CRA站出来发声是一件很正确的事情。”安波博士补充说。
“普通大众对该领域（CS）并没有深刻了解，所以排行榜对他们有重要的参考意义，排行榜会影响学生求学的选择，企业对学校学生的招聘等，因此排行榜对学校有直接或间接的影响，尤其是排在后面的学校肯定会受到负面的影响，所以CRA会公开抗议。”北京大学计算机科学技术研究所研究员万小军也给出了相同的观点。
所以整体来看，CRA做的是一件正义的事情。排名对不了解这一领域的普通大众有极大参考作用，正确的批判可以减少对大众的误导。
不过虽然CRA对USN&WR发表了公开的反对声明，但就目前来看后者似乎并没有打算撤回他们的排名结果。哈尔滨工业大学朱晓蕊教授认为大学排名只是场游戏，游戏规则的制定决定了这个游戏怎么玩，不过“游戏就是游戏”，所以USNews不会撤销排名。
对于这份排名，有人表示“我就笑笑”；也有网友表示“当我看到这个排名的时候，我是拒绝的！”但难道仅仅因为它不符合我们由来已久的常识，我们就直接连其中合理的部分也一并“拒绝”了吗？
雷锋网AI科技评论详细看了一下清华大学在USN&WR各项指标中的排名：
可以看出，在11项指标中，清华有4项是排在全球第一的位置。
清华大学计算机科学与技术系孙茂松教授认为，尽管对这个排名可能见仁见智，但无论如何它都是一个标志性事件。孙茂松教授11月12日在微信朋友圈中表达了如下看法：
我对清华计算机学科USN&WR排名世界第一这件事的理解是：它大体上与前几年我们国家GDP跃居全球第二有可比性。
第一，这应该是一个标志性事件，具有阶段划分的显著象征意义；
第二，GDP排第二，并没有改变中国依然是世界上最大发展中国家的基本格局，我们依然任重道远；
第三，清华计算机学科要在深刻思考中开启新的发展阶段。
北京大学的万小军研究员则说：“总体上计算机领域的研究还是美国领先，但不排除未来中国赶超。”
清华大学&Cornell大学的听海（知乎名）同学更是通过以会议论文排名的CS Rankings不同年份的排名具体说明了清华大学近几年CS方面的突飞猛进：
虽然这个排名显然不靠谱，但是人们对国内外CS发展的认知是略有滞后的。
Chen Qian 说的那个排名网站 (Computer Science Rankings)，是国外公认的比较cool的排名；同时因为它完全依赖于顶会论文的数据，也比较客观。
在这个排名上，看近十年的话（从2007到2017），清华的排名是世界第37。
但是如果只看近三年的话（从2015到2017），清华的排名是世界第11。
如果只看2017年的话，清华的排名是世界第6。而且和前几名相差不大。
当然只看一年的数据noise会比较大，但是考虑到近三年的排名和清华的上升势头，我觉得这个第6其实并没有很不靠谱。
另外，个人认为让系主任给其他系打分来计算排名（US News美国排名的计算方法）对于老牌强校来说没有问题，但是其实对于新兴的学校是有很大滞后的。因为即使一所学校实力已经提升，reputation的改变往往需要多年才能反映出来。
最近两年清华CS的顶会的论文数量，在世界前10。当然这个和大家的认知不符也是正常的，因为最近几年清华的排名改变比较大。
（雷锋网注：CSRankings的排名近期更新，结果稍有变动。以2017年11月27日的数据显示：从2007年到2017年，清华排名第40名；从2015年到2017年，清华排名第19名；只看2017年，清华排名第9名）
清华大学助理教授刘知远也同样这么认为，过去是望尘莫及的话，现在大致可以望其项背了。
随着近年来中国社会经济和信息产业的高速发展，以清华大学为代表的国内高校在计算机科学与技术的研究水平和人才培养的确进步神速。以听海的回答为例，即使以CSRankings来看，清华大学等国内高校近年来也上升明显，这一点也可以得到QS、ARWU、THE等世界大学排名近年来变化的佐证。可以说，过去是望尘莫及的话，现在大致可以望其项背了。
此外，高校的根本任务是培养人，开展高水平研究应当与人才培养过程相结合，这可能是现在我国还需要进一步重视的方面。总之，我们既要看到差距，也要看到进步，还要认清目标。可以说现在是中国计算机的黄金时代，我们应当及时总结经验，更加自信努力地继续前进。
北京大学黄铁军教授则从另一个方面看待这个问题，认为越来越多的人更注重研究成果的影响力，而不是排名，这是一个很好的趋势：
国内学界很长一段时间以来很注重数量和指标，包括各种评审和排名，其弊端已经有很多讨论，不必赘述。我感觉现在越来越多的学校和研究人员已经把关注点从指标转向研究成果的影响力，这是很好的趋势，也是孕育重要和重大研究成果的必要条件。
所以综合来看的话，虽然USN&WR的这份排名不是很靠谱，但是依然有一定的参考价值，以清华为代表的国内高校近几年在计算机科学领域发展势头迅猛，相比顶尖学校虽仍有差距，但未来数年追平甚至超越不是没有可能。
现代社会，大学排名榜单的名次似乎已经成为评判一个学校好坏的重要标准。波士顿大学国际高等教育中心主任 Philip G. Altbach曾撰文对当代大学排名进行了详细的分析，认为高校排名在当代社会几乎是不可避免的；如果排名不存在，也会有人发明它们。它是大众高等教育的必然结果，也是全球高等教育竞争和商业化的必然结果。学生及其家长想要了解哪些高等教育选项可供选择，排名为这些问题提供了一些答案。
所以不管我们喜不喜欢，大学排名都会存在下去。那么作为学者，他们会怎么看待排名呢？
1、从学生、研究人员的角度
加州大学圣克鲁斯分校助理教授 Chen Qian认为排名高低并不代表什么，对于学生和研究人员重要的是你自己的科研兴趣和你选择的导师的水平：
不要总把学校分个你高我低——我上的学校排名高不说明我比你高。每个人都应该用自己的科研成果和职业发展来证明自己，而不是学校排名。读PHD选校更不能用这些排名，而是要看自己的科研兴趣和导师的水平。
南洋理工大学助理教授安波直接坚决地反对大学排名，但排名存在而又无法改变，所以要用好的排名正确地引导学术界：
我反对对大学进行排名。但是目前的现状是学术界和教育机构参考排名进行管理（如各种资源的分配），因此排名对所有的研究人员都有很大影响。 一个不好的排名会错误地引导学术界（特别是青年研究人员），因此大家有义务纠正错误，引导大家做有益的研究。
中科院计算所一位不愿透露姓名的助理研究员对大学排名有不同的看法，他认为排名就想搜索引擎的检索结果，对领域内外的人都有参考价值，所以积极作用大于消极作用：
排名能够对领域外的人起到指导作用，对领域内的人有敦促作用，排名就像是搜索引擎的检索结果，用一定的规则将最为相关的排序。当然也存在对排名进行优化的行为，但个人认为积极作用大于消极作用。而且对于严重的作弊行为，领域内部也存在仲裁机制进行判别。
2、对排名系统本身批评
北京大学万小军研究员认为公正的排名有利于机构认清自己，但问题也在于排名并没有客观标准，很难做到绝对公正；从另外一个方面，过于频繁的排名（例如一年一次）会导致机构人员“急功近利”，这并不利于研究：
给大学进行排名有利有弊。一份公正客观的排名还是有利于各单位认清形势，做好定位，但弊在于排名本身没有客观答案，主观性较大，选择不同的因子，调整不同的权重，会得到不同的排名。另一方面，过于频繁的排名会对学校的正常运行和正常研究造成负面影响，如果用排名名次作为考核指标，会导致学校、单位、人员“急功近利”，不利于研究，毕竟重大研究成果的获得需要逐步积累，更需要一个良好与平静的环境。
北京大学黄铁军教授认为排名无法反映一个机构或个人的真实情况，就像分数不可能完整地反映一个学生的真实才能一样，所以看看就好，不可太信：
所有排名都有问题，靠几项指标评价一个机构或一个人，都只是从部分侧面描述被评对象，而决定性的因素往往都不在这些指标之列。用这些指标去衡量历史上伟大的科学发现（例如爱因斯坦的相对论）和重大的技术进步（例如Linux，或者中国的超级计算机），大概都很难排名靠前，甚至排不上号。
还是那句话，很难靠几项指标决定名次，我的意见是，指标就是指标，大家客观看那些指标就好了。这就像学生分数，很重要，但也只是一个侧面，并不能决定学生将来是否成功。
哈尔滨工业大学朱晓蕊教授则认为大学排名只是游戏，游戏规则的制定决定了这个游戏怎么玩，所以没有太大的可取价值：
大学排名这件事本身就是个游戏而已，游戏规则的制定决定了这个游戏怎么玩。如果学校排名中突出一些对某些高校有利的条件的权重，那这些高校就会排名靠前。比如增加地方影响力的权重，那么欠发达地区最好的几所学校的排名就会上升。再比如增加学校获得科研经费的权重，那么像阿拉伯因石油而暴富的国家的大学排名就会上升。
所以大学排名我基本不会看，即使偶尔看也是抱着看热闹的目的看的。这个只对一些想要证明什么的教育管理者有用。学生不会因为MIT没排到前面就不报考了，研究人员也不会因为排名的原因就不去MIT计算机系任教了。
（雷锋网注：一个佐证就是，在2003年由俄罗斯私人机构发布的环球大学排名中，莫斯科大学在哈佛、斯坦福、剑桥等老牌名校之前，全球排名第五。该排名只推出一期而后断更了。）
从诸位学者的观点可以看出，大部分学者对大学排名或多或少持有的都是“只是看看，并不相信”的态度，毕竟所谓排名只是人为假设出来的一个不存在的零和游戏。
不过，无论相信与否，或许下面这句话更能反映出我们真实的心理——
Rankings are a guilty pleasure—we claim they don't influence us, and we know their foibles, yet we can't help looking to see where we stand.
（排名是一种罪恶的享受 —— 我们声称它们不会影响我们，我们也知道它们的缺点，但我们还是禁不住要看看我们排在第几名。）
雷峰网原创文章，未经授权禁止转载。详情见转载须知。
