详细介绍

MMLU 全称 Massive Multitask Language Understanding,是一种针对大模型的语言理解能力的测评,是目前最著名的大模型语义理解测评之一,由UC Berkeley大学的研究人员在2020年9月推出。该测试涵盖57项任务,包括初等数学、美国历史、计算机科学、法律等。任务涵盖的知识很广泛,语言是英文,用以评测大模型基本的知识覆盖范围和理解能力。

MMLU

大规模多任务语言理解基准

访问官网

作者信息

AI工具集合社区创作者
4.4k浏览
0收藏
AI模型评测

用户评分

0.0
0 人评分
5星
0
4星
0
3星
0
2星
0
1星
0

点击星星评分

用户评论

登录后参与评论
支持文明交流,禁止发布违规内容

登录后可查看评论

类似工具推荐

OpenCompass

OpenCompass

上海人工智能实验室推出的大模型开放评测体系

4887
MMBench

MMBench

全方位的多模态大模型能力评测体系

4005
CMMLU

CMMLU

一个综合性的大模型中文评估基准

3880
PubMedQA

PubMedQA

生物医学研究问答数据集和模型得分排行榜

3637
H2O EvalGPT

H2O EvalGPT

H2O.ai推出的基于Elo评级方法的大模型评估系统

3395
AGI-Eval

AGI-Eval

AI大模型评测社区

2881
C-Eval

C-Eval

一个全面的中文基础模型评估套件

2384
MagicArena

MagicArena

字节推出的视觉生成模型对战平台

2263