DataCLUE: 数据为中心的AI

DataCLUE: 国内首个以数据为中心的AI测评(含模型分析报告)

        以数据为中心(Data-centric)的AI,是一种新型的AI探索方向。它的核心问题是如何通过系统化的改造你的数据(无论是输入或者标签)来提高最终效果。传统的AI是以模型为中心(Model-centric)的,主要考虑的问题是如何通过改造或优化模型来提高最终效果,它通常建立在一个比较固定的数据集上。
       DataCLUE是一个以数据为中心的AI测评。它基于CLUE benchmark,结合Data-centric的AI的典型特征,进一步将Data-centric的AI应用于 NLP领域,融入文本领域的特定并创造性丰富和发展了Data-centric的AI。在原始数据集外,它通过提供额外的高价值的数据和数据和模型分析报告(增值服务)的形式, 使得融入人类的AI迭代过程(Human-in-the-loop AI pipeline)变得更加高效,并能较大幅度的提升最终效果。

Github项目地址  https://github.com/CLUEbenchmark/DataCLUE       DataCLUE排行榜 

测评时间规划:2021年9月12日---2021年12月12日:
       1) 报名开始与截止:2021年9月12日--2021年10月25日
       2) 初赛:2021年9月12日--2021年10月30日。前80名并超过Data-centric的baseline进入到复赛。
          初始选手,也将获得数据和模型的分析报告(简称增值服务)
          训练集 & 验证集提供: 2021年9月12日
          提交入口开放:2021年9月15日;每天22点更新一次在线成绩
       3) 复赛:2021年11月1日--2021年12月5日。复赛提供额外高质量标注数据。前15名进入到在线答辩环节
       4) 线上评审:2021年12月12日(下午2点-5点)。 最终成绩: 线上得分* 0.65 + 线上方案评审 * 0.35


联系邮箱: CLUEbenchmark@163.com


注册

              测评注册流程:1.【登陆】系统--> 2.点击DataCLUE菜单,开始【测评注册】->3.【查看注册信息】
               需登陆系统,方能注册比赛。注册相关问题,可发邮件至:CLUEbenchmark@163.com
研究机构
用户名
队长名字
成员
地址
联系人
手机号
邮箱
注释
注册

查看注册信息

组织机构
用户名
队长名字
成员
地址
联系人
手机号
邮箱
Email
注释







DataCLUE增值服务v1.0,包括如下内容:
1)标签定义(119);2)训练集-可疑数据及模型预测(4684);3)标签的混淆矩阵(119*119)
下载地址
Copyright @2019