CLUE1.1总排行榜 CLUE1.1提交规则 | 项目地址
CLUE1.1与CLUE1.0区别：区别与原有的CLUE1.0，CLUE1.1在部分任务启用了新的测试集，训练集和验证集保持不变；CLUE1.0保留CMNLI自然语言推理任务
2021年07月25日更新TNEWS测试集；2021年09月29日更新CLUEWSC2020测试集；2021年9月5日更新CHID、C3测试集；请重新拉取数据集，并参考“提交样例”及其README.md

排行	模型	研究机构	测评时间	Score1.1	认证	AFQMC	TNEWS1.1	IFLYTEK	OCNLI_50K	WSC1.1	CSL	CMRC2018	CHID1.1	C3 1.1
1	玉言	网易伏羲	23-07-31	87.050	待认证	86.45	74.04	67.96	86.33	95.73	97.6	84.25	95.956	95.138
2	HunYuan-NLP 1T	腾讯混元AI大模型团队	22-11-26	86.918	待认证	85.11	70.44	67.54	86.5	96	96.2	87.9	98.848	93.723
3	通义-AliceMind	达摩院NLP	22-11-22	86.685	待认证	84.07	73.47	67.42	85.87	94.33	95.03	86.8	99.208	93.969
4	HUMAN	CLUE	19-12-01	86.678	已认证	81	71	80.3	90.3	98	84	92.4	87.10	96.00
5	CHAOS	OPPO研究院融智团队	22-11-09	86.552	待认证	83.37	73.22	65.81	86.37	94.6	95.7	87.2	99.217	93.477
6	WenJin	Meituan NLP	22-10-20	86.313	待认证	84.49	73.04	64.38	86.23	94.44	95.67	86.25	98.898	93.415
7	OBERT	OPPO小布助手	22-11-07	84.783	待认证	81.02	67.75	66	84.53	91.3	99.93	84.05	97.578	90.892
8	HunYuan_nlp	腾讯TEG	22-05-11	84.730	待认证	83.37	64.01	66.58	85.23	92.27	93.87	87.9	98.512	90.831
9	ShenNonG	云小微AI	21-12-01	84.351	待认证	82.57	65.56	64.42	85.97	94.21	91.23	86.5	97.932	90.769
10	ShenZhou	QQ浏览器实验室(QQ Browser Lab)	21-09-19	83.873	待认证	80.55	65.36	67.65	86.37	89.08	90.97	87.85	97.923	89.108
11	MusaBert	mthreads	22-12-16	82.889	待认证	86.92	65.22	63.88	81.6	88.93	92.9	83.95	95.889	86.708
12	3mp_xxlarge	vivo-3MP	23-02-22	81.413	待认证	77.93	63.4	64.31	82.6	91.8	87.2	81.05	97.227	87.200
13	vivo-3MP	vivo-3MP	23-03-26	81.413	待认证	77.93	63.4	64.31	82.6	91.8	87.2	81.05	97.227	87.200
14	UniMC-DeBERTa-1.4B	IDEA研究院	22-11-14	81.354	待认证	78.55	61.22	63.81	82.53	92.15	91.03	77.9	95.454	89.538
15	CL-BERT	CL-BERT	22-04-06	81.288	待认证	82.44	64.01	64.81	82.77	88.58	91.47	81.95	98.512	77.046
16	PAI-EasyNLP BERT	wjn1996	22-09-05	81.176	待认证	77.05	61.16	61.19	82.8	87.14	95.67	80.4	97.911	87.262
17	Mengzi	澜舟科技-创新工场	21-09-14	81.092	待认证	81.79	65.16	65.08	82.57	86.48	89.87	83.95	95.109	79.815
18	MTBert	mthreads	22-10-21	79.204	待认证	81.07	58.61	63.23	79.43	88	90.7	78.75	91.387	81.662
19	3mp_base	vivo-3MP	23-02-22	79.150	待认证	76.85	60.78	62.77	79.57	89.82	84.7	80	95.587	82.277
20	nlp_large	best_unknown	22-12-19	79.114	待认证	77.16	59.93	62.81	80.47	88.89	85.43	79.55	95.753	82.031

	C	E	N
C	0.0	0.0	0.0
E	0.0	0.0	0.0
N	0.0	0.0	0.0

	C	E	N
C	0.0	0.0	0.0
E	0.0	0.0	0.0
N	0.0	0.0	0.0

	C	E	N
C	0.0	0.0	0.0
E	0.0	0.0	0.0
N	0.0	0.0	0.0

	C	E	N
C	0.0	0.0	0.0
E	0.0	0.0	0.0
N	0.0	0.0	0.0

	C	E	N
C	0.0	0.0	0.0
E	0.0	0.0	0.0
N	0.0	0.0	0.0

	C	E	N
C	0.0	0.0	0.0
E	0.0	0.0	0.0
N	0.0	0.0	0.0

	C	E	N
C	0.0	0.0	0.0
E	0.0	0.0	0.0
N	0.0	0.0	0.0

	C	E	N
C	0.0	0.0	0.0
E	0.0	0.0	0.0
N	0.0	0.0	0.0

	C	E	N
C	0.0	0.0	0.0
E	0.0	0.0	0.0
N	0.0	0.0	0.0

	C	E	N
C	0.0	0.0	0.0
E	0.0	0.0	0.0
N	0.0	0.0	0.0

	C	E	N
C	0.0	0.0	0.0
E	0.0	0.0	0.0
N	0.0	0.0	0.0

	C	E	N
C	0.0	0.0	0.0
E	0.0	0.0	0.0
N	0.0	0.0	0.0

	C	E	N
C	0.0	0.0	0.0
E	0.0	0.0	0.0
N	0.0	0.0	0.0

	C	E	N
C	0.0	0.0	0.0
E	0.0	0.0	0.0
N	0.0	0.0	0.0

	C	E	N
C	0.0	0.0	0.0
E	0.0	0.0	0.0
N	0.0	0.0	0.0

	C	E	N
C	0.0	0.0	0.0
E	0.0	0.0	0.0
N	0.0	0.0	0.0

	C	E	N
C	0.0	0.0	0.0
E	0.0	0.0	0.0
N	0.0	0.0	0.0

	C	E	N
C	0.0	0.0	0.0
E	0.0	0.0	0.0
N	0.0	0.0	0.0

	C	E	N
C	0.0	0.0	0.0
E	0.0	0.0	0.0
N	0.0	0.0	0.0

	C	E	N
C	0.0	0.0	0.0
E	0.0	0.0	0.0
N	0.0	0.0	0.0

ALBERT(Ensemble)

GitHub/模型网址：

提交日期：9月17日

分数：9月17日

更多详情：

型号说明

阿尔伯特模型集合

参数说明

单任务微调。我们从MNLI为RTE、STS和MRPC优化的模型开始

总参数:-1

共享参数:-1

诊断信息

诊断主混淆矩阵

	C	N	E
C	182	36	40
N	81	189	116
E	17	69	374

C = 对立

N = 不包含

E = 包含