清华获国际首届深度元学习挑战赛冠军

作者:放心查重系统     发表时间:2021-02-23 20:40:37   浏览次数:19


  原标题:清华获国际首届深度元学习挑战赛冠军,准确率超第二名13%

  随着机器学习解决实际问题的日益复杂化,元学习近期受到越来越多的关注,已成为人工智能领域最热门的研究方向之一。

  近日,在国际人工智能顶级会议AAAI 2021上,清华大学计算机系朱文武教授团队取得AAAI 2021国际深度元学习挑战赛(MetaDL Challenge)冠军。该团队在最终阶段的隐藏测试数据集上取得了40.4%的准确率,以高于第二名13%性能的领先强势摘得桂冠。

  参与该项目的清华大学计算机系助理教授王鑫对澎湃新闻(www.thepaper.cn)记者介绍,元学习是自动机器学习的一个分支,旨在利用算法在旧任务上的表现(即元数据)来学习到某种经验,以使得模型在新任务上学得更快、更好。

  “元学习模仿了人类学习的过程,利用过往任务上得到的相关经验,来更快地适应和学习新任务。元学习被广泛应用于少样本监督学习、强化学习、冷启动推荐等跨任务迁移的应用场景,以应对真实场景中目标任务环境动态变化、训练数据不足所带来的挑战。”

  目前,谷歌、微软、亚马逊等国际巨头已将元学习算法应用到自己的产业链之中,国内许多知名公司,如腾讯、百度、字节跳动等,也不断完善自己的元学习算法和系统。

  此次MetaDL挑战赛为元学习领域举办的首届比赛,由第四范式和微软联合举办,并登陆人工智能领域顶级会议AAAI 2021。本次赛事有近一百支队伍参赛,内容为图像分类领域中的小样本学习问题。

  小样本学习是目前机器学习国际前沿正在解决的问题之一,是元学习的一个重要应用场景,而基于小样本的深度元学习将更加复杂,面临巨大挑战。与以往的小样本学习不同,本次比赛同时考察元学习算法本身的泛化性和自适应性,对算法在各个场景下的有效性进行测试。

  朱文武教授团队介绍,本次比赛主要有三个方面的挑战。

  首先,如何使模型具有快速适应小样本新任务的能力?在这次比赛中,参赛者提交的模型拥有两次训练过程:元训练过程以及测试训练过程。在元训练过程中,模型必须提炼出该数据集的元知识以及最佳的学习方法,来确保模型在测试训练过程中能快速学习并防止过拟合。

  第二是时间以及空间约束。本次比赛拥有对时间以及空间的约束条件。总时长不超过2小时,总GPU资源占用不得超过4张英伟达的8G M60 GPU。这要求参赛者提供的模型必须高效、轻量地提取元知识和学习方法。

  其次是适配未知数据集的挑战。相别于传统小样本学习,本次比赛还考察了模型对于不同类型数据集的适应效果。由于事先并不知道测试阶段的隐藏元训练数据,挑战者提交的模型必须拥有足够的泛化能力,来应对在未知类型的数据集中提炼元知识的能力。这一点又被称为元-元学习。是对元学习的补充与提升。

  为了应对以上三个问题,朱文武教授团队提出了自适应深度元学习系统Meta-Delta来现轻量级、高效、高泛化性的元学习模型Meta-Learner

  Meta-Delta系统采用基于测量的方法来作为元学习模型的内核。这种方法将数据集映射到了一个元知识空间,并以空间中测试样本点和训练样本点的距离远近,来快速进行小样本分类。

  这样的做法将元知识的提取转化为空间变换问题,是最近研究中效果最好的元学习算法之一,可以解决快速适应小样本新任务的挑战。

  基于此内核,团队构造了资源控制模块,来精准管控与分配模型学习时的时间空间消耗,采用多进程与多线程相结合的方式,在不超时的前提下进行尽可能充分的元知识提取。最后,系统采用不同的预训练模型+多模型整合的方式,使得整个系统在面对未知的数据集时,仍然能够有效地提取出最佳元知识,从而使其具有更强的泛化能力。

  团队成员包括计算机系在读硕士生关超宇、卫志坤、陈禹东,由关超宇担任队长,朱文武教授与王鑫助理教授担任指导教师。

中国知网查重:https://www.fangxincha.net

本站声明:网站内容来源于网络,如有侵权,请联系我们,我们将及时删除处理。

行业资讯相关资讯

学术不端查重入口


检查语种:中文,英文,小语种 预计时间:3小时-72小时
系统说明硕士论文查重,CNKI中国知网硕博(vip5 3 tmlc2)查重系统是高校检测硕士、博士、MBA等论文专用检测系统,检测结果和高校一致,定稿首选!
检查范围硕士/博士论文/科研成果
598.00元/篇
立即检测
检查语种:中文,英文,小语种 预计时间:3小时-72小时
系统说明知网论文查重入口,CNKI中国知网本专科PMLC查重检测系统,是学校查重本专科毕业论文专用系统,独有”大学生论文联合对比库“,与学校检测结果一样!
检查范围专科/本科大学生论文
298.00元/篇
立即检测
检查语种:中文,英文 预计时间:60分钟
系统说明论文查重软件,维普论文检测系统:高校,杂志社指定系统,可检测期刊发表,大学生,硕博等论文。检测报告支持PDF、网页格式,性价比高!
检查范围毕业论文、期刊发表
4.00元/千字
立即检测
检查语种:中文 预计时间:60分钟
系统说明论文检测网站,万方数据平台推出的万方查重系统是目前较为热门的检测系统。究其原因,万方数据通过近年的发展,在高校中也确立了自己的相应地位,特别是部分高校直接将其视为毕业检测系统,其真实性和权威性无可厚非。其次,相对于知网而言,万方检测费用少,上手容易,是学生初次论文查重的推荐系统。
检查范围毕业论文、期刊发表
4.00元/千字
立即检测
检查语种:中文 预计时间:60分钟
系统说明PaperPass检测系统是北京智齿数汇科技有限公司旗下产品,网站诞生于2007年,运营多年来,已经发展成为国内可信赖的中文原创性检查和预防剽窃的在线网站。 系统采用自主研发的动态指纹越级扫描检测技术,该项技术检测速度快、精度高,市场反映良好。
检查范围学位论文和学术期刊
3.00元/千字
立即检测
检查语种:简体中文、英文 预计时间:60分钟
系统说明笔杆论文查重系统,拥有海量的对比数据库,总收录超过300亿比对指纹,覆盖13个对比数据库,十多种学术文献类型,比对精准。采用最新研发指纹比对技术,最快不到1分钟出报告,结果准确合理。每年帮助数百万学子顺利毕业,全国500家高校图书馆指定该系统查重。高效精准,安全无痕不泄漏。
检查范围毕业论文、期刊发表
2.00元/千字
立即检测
检查语种:中文,英文,小语种 预计时间:3小时-72小时
系统说明职称论文检测,CNKI知网期刊职称查重系统是期刊、杂志社专用,是针对投稿发表、已发表文献、学校、事业单位业务报告、职称评审论文的重复率检测系统。
检查范围投稿/发表/职称评审
85.00元/篇
立即检测
检查语种:中文/英文(包括简体、繁体) 预计时间:60分钟
系统说明放心查fangxincha.net提供大雅论文查重官网入口,本系统适用于对学位论文(专科、本科、硕士、博士)、新投稿论文等进行检测。大雅相似度分析系统基于强大的检测算法以及先进的动态指纹扫描技术;大雅论文检测系统能够全面的查出文献中所存在的学术不端等问题,论文查重结果可以在大雅官网免费验证。
检查范围学位论文(专科、本科、硕士、博士)、新投稿论文
2.50元/千字
立即检测
检查语种:中文,英文,小语种 预计时间:60分钟
系统说明“鼓励原创,杜绝学术不端行为”是学术家检测系统运营以来的初衷,”大数据,精准查重”是我们服务于广大学者的使命。品牌自创建以来凭借优秀的检测算法和良好的用户体验,赢得市场热烈反响。学术家自助检测平台拥有丰富的对比数据库,支持大学生、研究生、编辑部、职称认定等论文的重复率检测。在与高校及科研机构等资源单位的长期合作中,学术家积累了超过500亿篇对比文献,不断增长完善的对比数据库,旨在为用户提供更好、更快速、更细微的检测服务。
检查范围毕业论文、期刊发表
2.00元/千字
立即检测
检查语种:中文 预计时间:60分钟
系统说明格子达依托学术期刊库收录了海量对比资源,其中包括中国论文库、中文学术期刊库、中国学位论文库等国内齐全的论文库以及数亿级网络资源,同时本地资源库以每月100万篇的速度增加,是目前中文文献资源涵盖全面的论文检测系统,可检测中文、英文两种语言的论文文本。
检查范围毕业论文、期刊发表
4.00元/千字
立即检测
在线客服 返回顶部