0
这个夏天，爱奇艺超级网络综艺《中国新说唱》开播以来，话题持续升温。在刚刚结束的首轮战队5进4淘汰赛中，残酷虐心程度让粉丝尖叫不已。 
让真爱粉尖叫的背后是对这档节目对选手与制作人之间、选手与团队之间情感走势引发的强烈共鸣 。炸裂的粉丝反馈源于 《中国新说唱》高水准后期制作的有力支撑，据雷锋网了解，与以往所有大型综艺节目不同的是，爱奇艺成功将AI技术应用在了《中国新说唱》的后期制作的多个环节中，成功扩充的节目艺术创作的边界，大幅提升了后期制作的效率，实现了技术与艺术创意的无缝融合，提升了节目的创意水准。
上周六的首轮战队5进4淘汰赛，那吾克热在最后时刻回心转意与吴亦凡“牵手成功”；潘玮柏&G.E.M.邓紫棋也历经万般纠结，终于将杨和苏、王齐铭、周汤豪纳入麾下，“攀登队”自此集结完毕。在现场比拼环节中，除实力炸场的“梦之队”外，其余两组战队的表演也各有千秋，虽然彩排过程中状况频出，但15位rapper都为了各自的homie以及能在舞台上留下好的作品而拼尽全力。‘’
如何将戏份的惊心动魄淋漓尽致地呈现，让粉丝尖叫，对后期制作人员是一个巨大的挑战。
首先，像《中国新说唱》这样的大型综艺采用的是先拍摄后制作的方式，要想有这么丰富的镜头，制作团队前期拍摄时摄影师必然会事无巨细地拍摄大量素材，外场对rapper进行跟拍，现场则是讯道、DV、5D以及稳定器等多钟机位同时拍摄。不像电影、电视剧的拍摄，真人秀节目的很多状况都无法提前预知，导演也是要拿到拍摄的素材，根据人物的表现和真实情况来编排节目框架。制作团队面临的第一个挑战就是如何在海量的拍摄素材中，找到最精彩的画面，使其最大呈现节目的精彩度。 
在此次淘汰赛的后期制作中，拍摄结束后，工作人员首先会对淘汰赛现场、战队间、以及艺人与选手采访间的10T左右的海量素材进行整理，这是一个极其耗时、“虐心”的工作， DIT人员（数字影像工程师，digital imaging technician）需要做所有机位的素材收集、后期素材上线以及将素材整理到时间线上。DIT在此过程中会核对原始素材，检查音比、音轨与音量是否有问题，甚至会做标记，比如DIT记录了20轨，会将20轨的视频素材做标记。在这个过程中，会有很多意外情况发生，比如很多机位的产生的素材会被漏掉，原始素材遗漏会使得节目的精彩瞬间被错过。
素材收集就这么复杂，后期剪辑更是费时费力。剪辑助理会帮助剪辑师找词、整理，把不同场景的素材分类，以便后期剪辑。接下来，剪辑助理会处理所有人物的素材，把具体的人物所有中景近景的反应镜头全部切出来，放在一条线上，方便剪辑师应用。在这里，实现素材查找、搜索全凭人力花费大量时间人肉海量素材。
除此以外，综艺节目制作周期紧张，用户与市场对节目的创意要求越来越高，而且目前娱乐行业的内容竞争异常激烈，是否拥有爆款网综对平台增加用户粘性、抢夺新用户非常重要。网综的制作水平与效率需要达到极高的水准才可以让平台在竞争中处于不败之地。在这种状况下，AI成为提升效率与创意的绝佳方式。
目前，在《中国新说唱》的后期制作中，AI技术主要用来做智能听打字幕、精彩画面查找。
此前，听打字幕完全是由人力来完成的。
爱奇艺副总裁谢丹铭介绍此次爱奇艺与百度进行了深度合作，在《中国新说唱》的后期制作中， 使用ASR（语音识别技术）用作前期的扒词，人工听打字幕和后期快要合片时的字幕。
比如，在这期淘汰赛中，工作人员需要完成14个小时的视频字幕的听打工作，按照传统方式，听打人员需要数十个小时听打与核对工作，但是AI可以自动完成听打工作，只需要后期制作人员花费20个小时左右完成整个工作。 
接下来是精彩画面查找工作，精彩画面查找有两种情况，第一种情况是一种场景中的素材查找：现场观众会对选手个人表演产生一定的情感，比如陶醉、微笑。AI会对这些观众视频画面进行识别分析，自动生成标签，最后实现智能检索。
第二种情况是在不同场景中一种反应的视频查找。剪辑师会根据需要，查找其他场景中的反应类视频，比如查找所有场景中吴亦凡的微笑。工作人员只要在系统中输入“吴亦凡”和“微笑”，就可以找到所有吴亦凡微笑的视频画面。对于剪辑师来说，要从海量的素材中找出吴亦凡的“微笑”是很困难的，还很可能漏掉关键素材，而这对于AI来说，却是举手之劳。
为了让3000万粉丝们不错过吴亦凡的每一帧微笑，为了让吴亦凡与那吾克热“甜”到一起，《中国新说唱》的后期团队使用AI对视频素材中反映观众情感和不同场景中同一反应的视频进行查找，通过人脸识别、表情识别、声纹识别、景别识别与动作识别技术，根据不同的标签组合查找定位视频，也可以通过“只看TA”功能，根据确定标签仅查看该视频中包含当前标签的视频内容，工作人员可以在系统中根据标签“吴亦凡”、“那吾克热”、“微笑”等标签组合，快速找到所有二人一起微笑的视频片段。
此外，爱奇艺利用精彩画面查找的功能还能更好地筛选出将导师与选手的画面，帮助后期剪辑，协助创意人员来更好地讲故事。正是有了AI，我们才能在《中国新说唱》中看到那么多精彩、流畅的故事，更丰富地了解每个选手的特点和魅力。
《中国新说唱》在某种程度上是近年爱奇艺在AI领域布局的一次实力检阅。
爱奇艺CTO刘文峰在接受媒体采访时曾表示，尽管AI 领域挤满了独角兽和创业公司，但爱奇艺的一大优势在于“爱奇艺拥有最懂娱乐的团队”。“我们有真正自己的工作室去创造内容，对内容有非常深度的了解，这些可以用来反哺技术，可以让技术进一步往前迭代。”他说。
在以《中国新说唱》为代表的超级网综上的实践表明，有大量的场景和素材积累，这为AI辅助后期制作提供了先决条件与应用场景，使爱奇艺AI技术更好地实现落地。
目前，爱奇艺融合语音识别、人脸识别、表情识别、声纹识别、景别识别与动作识别的情感识别技术趋于成熟，已经能够帮助剪辑人员查找导师以及歌手的反应类素材，实现很高的精准度。
未来，爱奇艺强大的跨界资源整合能力将促成 新的智能制作系统的设计、新网络部署，新的硬件设施的部署等。这一整套的系统的落地将推动中国娱乐业的制作能力跻身国际水平。
早在2014年，爱奇艺就开始在AI方面布局，并打造了“爱奇艺大脑”，研究各种视频编解码、云计算、多屏融合、视频搜索、节目推荐等算法等。目前AI技术已经“无孔不入”渗透到爱奇艺生态的各个角落：
爱奇艺还成功将AI应用在了娱乐生态的各个角落，实现娱乐生态效率最大化提升，比如，在内容创作方面，爱奇艺艺汇选角系统可以通过AI算法实现制片人与艺人需求的精准匹配，大大提升选角效率，为此前热播的自制剧《泡沫之夏》选择了张雪迎作为女主，创下了超13亿的微博阅读量在智能营销方面，爱奇艺通过AI内容识别技术、受众特征识别等技术，帮助广告主创造出既符合用户体验、又打动消费者的营销体验。
为了更好的满足用户的个性化需求，爱奇艺通过知识图谱与深度学习等AI技术，优化用户视频推荐模型，成功研发出“私人影院”、“短视频联播”等实用性很强的功能，在用户体验方面，爱奇艺还通过只看TA功能，让用户只看自己喜欢演员的视频片段，比如在热播的《延禧攻略》中，点击“只看 秦岚 片段”就可以专门看秦岚的戏份了，AI ABS自制应码流技术让用户随时看片不卡顿。
今年3月，爱奇艺上市时，创始人、CEO龚宇曾经表示，爱奇艺将以“AI+内容生态的双主线发展策略进入发展的快车道”。为了打造最“聪明”、“高效”的娱乐生态、为用户带来极致体验，爱奇艺不断在技术上投入重金，目前将近 50% 的工作岗位是技术岗。最新发布的财报显示，爱奇艺二季度研发费用支出达到了4.4亿元，同比增长50%。
雷峰网原创文章，未经授权禁止转载。详情见转载须知。
