作者 | 董子博
编辑 | 岑峰
农历新春将近，新一届“拜年文学大赛”又要开始了。
一到此时，各路拜年祝福就争奇斗艳，层出不穷。想要文义优美、辞藻生动，本就让不少人想破脑袋；如果再想配上一幅优美的图片，原创且有新意，更是成了每一年的大难题。
往年“卷”得不行的拜年消息，在今天只需输入简单几句话，就能轻松搞定。而这背后，自然是AIGC技术的重大赋能。
这张由智谱AI生成的贺年卡，不仅不花什么功夫，还包含了一段年味十足的祝福语，和一张精美的图片，如果有心，还能附上一首贺年的诗词。一眼看上去平平无奇，但实际上，却是尖端AIGC技术的集中体现。先说说每年最让人头疼的祝福语：在这张祝福卡上，仅凭寥寥几句引导语，由清华大学KEG实验室和智谱AI研发的开放问答机器人小呆（XDAI）就能够完成一段相当高质量的祝福，甚至还能实现押韵。但这还并不是XDAI最强大的功能，短短一段祝福语背后，小呆还有着能够完成有逻辑、有内容的对话实力。大规模预训练语言模型（PLM）在近年来的进展有目共睹，尤其是ChatGPT横空出世，更是给PLM圈粉无数，吸引了大量关注。但也有学者看到，在大模型下构建基于知识的对话系统，实现知识资源的收集，并根据任务调优，对于个人开发者来说成本太高。这也就让这项技术在落地上门槛太高，挡住了一大批有兴趣的开发者。XDAI的提出，就是针对上面的情况，旨在让开发人员无需微调，即可利用PLM，快速创建开放域对话系统，并可以用Prompt（引导语）定制自己的特定域系统。这也是XDAI最强大的能力，它不仅能借此完成颇具年味的文字生成，还能通过设计不同的Prompt，达成对XDAI“人设”、甚至“性格”的调整，来设计一个愤怒版、抑郁版、暖心版等不同版本的“小呆”。说回贺年卡，如果你觉得“小呆”为你生成的文字不够诗意，你可以呼叫“悟能”，让它来帮你写作一首诗。“悟能作诗”是智谱AI开发的，一个在PLM的基础上开发的AI作诗平台。在原先的PLM中，尽管模型已经能够生成不错的文字内容，但却往往缺乏对于问题主题的专注。在对话中，这个弱点可能瑕不掩瑜；但在诗歌创作上，缺乏主题却相当致命。于是，开发者想到，可以使用Inverse Prompting的方式，来避免这个弱点——利用生成的文本去复原给定的标题，在通过对生成语句的打分，配合梁式搜索，每生成一个短句，就进行一次评分，并保留分数最高的内容。再使用这个方法，“悟能”能够学习自己生成的内容，对自己的内容打分，并以此做微调，加强自身作诗的能力。在“悟能作诗”，雷峰网以“新年”为关键词，并限定了“悲伤”的情绪，最终生成的结果如下：新年
圣历初开岁 云山半老时
七轮才偃月 九陌乱填丝
曙角分龙节 寒尘敛隼旗
元宵几处玩 禁火夜弥迟
最后再说说，这张贺年卡背后，图片生成的AIGC产品——CogView。
CogView的算法框架分为VQ-VAE和Transformer两部分，对图像和文本进行大规模生成式联合预训练，首先以VQ-VAE将图像压缩成Token，再将其输入Transformer进行生成训练；反其道而行之，也可以将Transformer输出的Token作为依据，生成图像。
在文字、诗歌、图片生成的领域，AIGC都担任了重要的工作。而在小呆、悟能、CogView的背后，都有大规模语言训练模型GLM-130B的影子。
这个由清华大学计算机系KEG实验室，和智谱AI开发的开源双语大规模语言训练模型，在前些时间的基准测试上超过了OpenAI的GPT-3和谷歌的PALM，并且以开源的形式，作为开源大模型的中国力量，普惠广大的使用者。
一张小小的贺年卡，背后是一个开源大模型的支持，和三种AIGC的尖端技术。在未来，AIGC技术可能也会给一年一度的“拜年文学大赛”画上句点。
后续我们会进一步对GLM-130B进行专项的写作和报道，如果感兴趣的话，可以加本文作者微信交流：william_dong。
更多内容，点击下方关注：
未经「AI科技评论」授权，严禁以任何方式在网页、论坛、社区进行转载！
公众号转载请先在「AI科技评论」后台留言取得授权，转载时需标注来源并插入本公众号名片。
雷峰网(公众号：雷峰网)
雷峰网版权文章，未经授权禁止转载。详情见转载须知。
