麻省理工科技评论 22-11-09 21:39
微博认证:《麻省理工科技评论》杂志官方微博

#自然语言处理应用技术# 【MSRA持续迭代AI大模型BEiT,为通用多模态基础模型开创全新方向】#创新35人#

他叫韦福如,本科、硕士和博士毕业于#武汉大学计算机学院# 。博士期间,他在#香港理工大学# 计算机系担任访问学者,自此开始从事自然语言处理(Natural Language Processing,NLP)领域的研究工作。

几年间,韦福如在 NLP 领域取得了多次突破,并在大规模预训练模型、自然语言处理,多模态人工智能等领域持续创新,曾入选 2017 年《#麻省理工科技评论# 》“35 岁以下科技创新 35 人”中国区榜单。

目前,韦福如已在微软亚洲研究院工作 12 年,现任自然语言计算组首席研究员。他以 NLP 为主攻领域,这是#人工智能# 的核心课题之一,是一门研究机器如何理解和生成自然语言的学科。该领域包括语言分析、信息抽取、信息检索、文本挖掘、机器阅读理解、智能问答、机器翻译、自动文摘,文本生成以及综合场景应用等研究课题。

近年来,随着#自然语言处理# 的研究和技术广泛迁移到#人工智能[超话]# 的其他领域,韦福如和团队还专注于跨任务、跨语言和跨模态基础模型、语音处理、文档智能和多模态人工智能等领域的研究。

从技术层面来看,最近几年 NLP 领域取得了非常出色的进展。大规模预训练模型正在引领人工智能领域进行一场前所未有的范式迁移:在海量的未标注数据上通过自监督预训练得到一个预训练模型(又称为基础模型),再通过微调或少样本/零样本学习使用少量标注,甚至不需要标注数据,即可把基础模型广泛应用到下游任务模型上。新的范式取得了优异的效果,并展现出了强大的泛化和通用能力。

“这几年有三个重要的关键词。第一个是大规模预训练模型,或称为基础模型,即在通过自监督学习完成预训练的同时,也实现了模型训练的范式迁移。第二个是多语言,也就是用一个模型可以支持多种语言的下游任务。第三个是多模态,即不同模态(例如文本、图像、语音等)的建模和学习逐渐趋于融合和统一。”韦福如表示。

戳链接查看详情:http://t.cn/A6o3e4dd