什么是 CMMLU？
CMMLU 是一个综合性的中文评估基准，专门用于评估语言模型在中文语境下的知识和推理能力。它涵盖了从基础学科到高级专业水平的 67 个主题，包括需要计算和推理的自然科学、需要知识的人文科学和社会科学，以及需要生活常识的中国驾驶规则等中国特定主题。CMMLU 中的许多任务具有中国特定的答案，可能在其他地区或语言中并不普遍适用，因此是一个完全中国化的中文测试基准。数据集以逗号分隔的 .csv 文件形式存在，每个问题为单项选择题，有 4 个选项且仅有一个正确答案。该基准已集成到 lm-evaluation-harness 和 OpenCompass 等开源平台中，方便用户快速测试。
主要功能
- 涵盖 67 个中文主题，包括自然科学、人文科学、社会科学及中国特定主题
- 支持 Five-shot 和 Zero-shot 两种测试模式
- 提供直接回答提示和思路链 (CoT) 提示的预处理代码
- 数据集可通过 GitHub 和 Hugging Face 获取
- 已集成至 lm-evaluation-harness 和 OpenCompass 评测框架
- 提供模型排行榜，区分开放测试与未开放测试模型
适合哪些场景？
适合模型研发团队、NLP 研究人员、论文复现者以及需要进行中文模型能力横向对比的 AI 产品经理。不适合寻求通用内容生成、工作流自动化或非中文语境评测的用户。
为什么选择它？
- 提供完全中国化的中文测试基准，涵盖大量中国特定知识
- 主题覆盖广泛，从基础学科到高级专业水平
- 集成主流开源评测框架，降低使用门槛
- 提供详细的排行榜和多种评测设置（Zero-shot/Five-shot）
存在的问题
- 榜单成绩不等同于真实业务场景表现
- 中国特定答案可能在其他地区或语言中不适用
- 不同评测方法（如提示方式、数据污染验证）之间结果不可直接类比
- 未开放公测的 API 模型需经过额外验证才能上榜
价格方案
CMMLU 当前属于免费增值工具。具体价格、额度、续费方式与地区差异请以官网最新说明为准。
CMMLU 使用教程
- 1
通过 GitHub 仓库或 Hugging Face 下载 CMMLU 的开发集和测试数据集。
- 2
安装并配置 lm-evaluation-harness 或 OpenCompass 等支持 CMMLU 的开源评测平台。
- 3
参考 src/mp_utils 目录中的预处理代码，选择直接回答或思路链 (CoT) 提示方式。
- 4
根据需求选择 Zero-shot 或 Five-shot 测试模式，运行评估脚本。
- 5
记录模型在 STEM、人文学科、社会科学等维度的得分。
- 6
如需提交未开放公测模型的测试结果，需验证指令跟随能力并排除数据污染后提交拉取请求。
相关AI工具
AGI-Eval
AGI-Eval 是一款聚焦模型评测与能力比较的 AI 工具，可作为该场景的候选方案进行体验和比较。具体功能、价格与地区可用性请以官网最新信息为准。
C-Eval
C-Eval 是一款聚焦模型评测与能力比较的 AI 工具，可作为该场景的候选方案进行体验和比较。具体功能、价格与地区可用性请以官网最新信息为准。
FlagEval
FlagEval 是一款聚焦模型评测与能力比较的 AI 工具，可作为该场景的候选方案进行体验和比较。具体功能、价格与地区可用性请以官网最新信息为准。
H2O EvalGPT
H2O EvalGPT 是一款聚焦模型评测与能力比较的 AI 工具，可作为该场景的候选方案进行体验和比较。具体功能、价格与地区可用性请以官网最新信息为准。