0
5月24日，腾讯“混元”AI大模型在CLUE（中文语言理解评测集合）总排行榜、阅读理解、大规模知识图谱三个榜单同时登顶，一举打破三项纪录。
据了解，CLUE总榜由分类任务和阅读理解任务构成。腾讯“混元”AI大模型在一个月内先后实现分类任务、阅读理解双佳绩，最终以 84.730的成绩取得总榜第一。
作为中文最具权威的自然语言理解榜单之一，CLUE共开设了包含文本相似度、分类、上下文推理、阅读理解在内的9项子任务，旨在推动NLP（自然语言处理预）训练模型技术的不断进步和突破。
NLP（自然语言处理）技术是人工智能领域的一个核心研究方向，其目的是使得计算机具备人类的听、说、读、写等能力，并利用知识和常识进行推理和决策。目前，越来越多的科技企业和研发机构投入到该领域的研究当中，在CLUE等业界榜单的竞争也十分激烈。
在预训练阶段，除常规公开数据集之外，“混元”大模型还学习了商业领域特有的文本数据集。因此，相较于业界其他AI大模型，“混元”能够更好地理解各种长度文本信息，应对搜索、广告、新闻、问答等多样化的场景任务，在阅读理解、知识图谱相关的下游任务中也更加具有优势。
除性能提升之外，“混元”大模型通过借助数据及模型课程学习、多短句合并掩码、改进PowerSGD（优化通信算法）等方法，有效压缩低带宽环境下GPU节点训练的通信数据量和通信耗时，实现训练效率的大幅提升。
目前，腾讯“混元”AI大模型研发团队已经将改进的PowerSGD方法贡献给PyTorch开源社区，将在PyTorch下个版本中正式上线。
得益于“混元”AI大模型在自然语言理解、跨模态检索领域强大的技术能力，自今年4月以来，该模型已成功斩获MSR-VTT、MSVD、CLUE等各大权威AI榜单榜首，这意味着，腾讯在人工智能领域的技术研发已取得突破性进展。
目前，“混元“NLP大模型已经应用于腾讯内部多个业务，并在腾讯广告的数据挖掘任务中带来超过5%的指标提升，提升广告推荐的精准度，优化用户体验。未来，腾讯混元AI大模型研发团队将根据具体场景需求持续推进大模型的研究和优化，加速AI技术在各个产业的应用和落地。
雷峰网(公众号：雷峰网)
雷峰网版权文章，未经授权禁止转载。详情见转载须知。
