一举刷新50多个NLP任务基准,并登顶 SuperGLUE 全球榜首,百度ERNIE 3.0知识增强大模型显威力!

一举刷新50多个NLP任务基准,并登顶 SuperGLUE 全球榜首,百度ERNIE 3.0知识增强大模型显威力!
2021年07月06日 16:18 艾肯家电网

原标题:一举刷新50多个NLP任务基准,并登顶 SuperGLUE 全球榜首,百度ERNIE 3.0知识增强大模型显威力!

近日,百度ERNIE升级到3.0,重磅发布知识增强的百亿参数大模型。该模型除了从海量文本数据中学词汇、结构、语义等知识外,还从大规模知识图谱中去学。

ERNIE 3.0一举刷新54个中文 NLP任务基准,其英文模型在国际权威的复杂语言理解任务评测SuperGLUE上,以超越人类水平0.8个百分点的成绩登顶全球榜首。ERNIE 3.0同时具备超强语言理解能力以及写小说、歌词、诗歌、对联等文学创作能力。

目前ERNIE 3.0已在百度文心官网开放,用户可体验ERNIE 3.0创作的不同形式的内容,实现更多有创意、有价值的应用。

ERNIE 3.0知识增强大模型:百亿级预训练中首次引入大规模知识

近一年来,以GPT-3、Switch-Transformer 为代表的大规模预训练模型,带来了人工智能领域新的突破,由于其强大的通用性和卓越的迁移能力,掀起了预训练模型往大规模参数化发展的浪潮。然而,现有的大规模预训练模型,主要依赖纯文本,缺乏大规模知识指导,模型能力存在局限。

ERNIE 3.0的研究者进一步挖掘大规模预训练模型的潜力,基于深度学平台飞桨的分布式训练技术优势,首次在百亿级预训练模型中引入大规模知识图谱,提出了海量无监督文本与大规模知识图谱的平行预训练方法(Universal Knowledge-Text Prediction)。通过将大规模知识图谱的实体关系与大规模文本数据同时输入到预训练模型中进行联合掩码训练,促进了结构化知识和无结构文本之间的信息共享,大幅提升了模型对于知识的记忆和推理能力。

ERNIE3.0中的文本与知识平行预训练ERNIE3.0中的文本与知识平行预训练

ERNIE 3.0统一预训练框架:同时具备语言理解和语言生成能力

百度研究者提出了将通用语义表示与任务语义表示相结合的模型框架,该框架融合自编码和自回归等不同的任务语义表示网络,既可同时处理语言理解和语言生成任务,还能做有标注数据的微调训练(Fine-tuning)。此外,ERNIE 3.0在持续学框架的基础上,增加了任务语义表示网络,加速模型进化。

ERNIE3.0框架ERNIE3.0框架

ERNIE 3.0效果:一举刷新54个中文NLP任务基准

百度研究者在54个中文自然语言处理公开数据集,包含情感分析、观点抽取、阅读理解、文本摘要、对话生成、数学的运算等任务上,全面验证评估了ERNIE 3.0的效果和通用能力。ERNIE 3.0均取得了当前最好效果,其中,在20多个不同类型的自然语言处理任务上取得了3%以上的显著提升。

ERNIE3.0在Fine-tuning范式下的任务效果ERNIE3.0在Fine-tuning范式下的任务效果

在实际应用中,往往缺乏标注数据,因此,百度研究者也测试了ERNIE 3.0在Zero-shot Learning范式下的效果,ERNIE 3.0在大多数任务上相对已有的中文大模型也取得了显著的效果提升。

ERNIE 3.0英文模型登顶 SuperGLUE:超越人类水平0.8个百分点

SuperGLUE是由谷歌DeepMind、Facebook研究院、纽约大学、华盛顿大学等多个权威机构联合发布的复杂语言理解任务评测,旨在提升常识推理、因果判断、上下文消歧、指代消解等复杂任务的效果。

ERNIE3.0登顶SuperGLUE全球榜首ERNIE3.0登顶SuperGLUE全球榜首

事实上,早在2019年12月,ERNIE就曾以9个任务平均得分首次突破90大关的成绩登顶GLUE全球榜首。这次ERNIE 3.0在SuperGLUE评测上夺冠,再次证明了ERNIE的强大实力。

写小说、写歌词、写古文:ERNIE3.0文学创作与知识掌握能力显著提升

ERNIE 3.0在文学创作能力方面也有了显著提升,可以通过对海量文本与知识的自学,无需专门训练,即可进行文学创作。

ERNIE 3.0对知识的掌握,同样大幅提升,通过知识图谱对模型进行增强,让模型具备更强的知识记忆和推理能力。

新浪科技公众号
新浪科技公众号

“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)

0条评论|0人参与网友评论
最热评论
鐧惧害BIDU.US82.63+2.30+2.86%盘后交易Nov 25 02:02PM EST
科技上市公司行情全掌握

官方微博

新浪科技 新浪数码 新浪手机 科学探索 苹果汇 新浪众测

公众号

新浪科技

新浪科技为你带来最新鲜的科技资讯

苹果汇

苹果汇为你带来最新鲜的苹果产品新闻

新浪众测

新酷产品第一时间免费试玩

新浪探索

提供最新的科学家新闻,精彩的震撼图片