Humanity's Last Exam 是一项面向高级人工智能系统的高难度评估基准，由多位顶尖AI安全与能力研究者联合创建。该基准为了衡量前沿模型在数学、物理、计算机科学、逻辑推理等领域的极限表现，为评估AGI（通用人工智能）进程提供严苛的标尺。项目强调**“最后考试”**的定位——若模型能稳定通过这类测试，意味着人类智能的许多核心维度已被逼近。
核心功能
- 极端难题库：收录约500道手工设计的问题，覆盖数学、物理、计算机科学、哲学等学科，每道题均需深度推理与多步推导。
- 自动评分机制：采用严格的标准答案匹配与数学等价性校验，避免模型通过模式匹配或套话得分。
- 公开排行榜：定期更新顶尖模型（如GPT-4、Claude系列、Gemini等）的得分，直观展示能力差距。
- 跨领域覆盖：问题涉及高等代数、量子力学、算法复杂度、形式逻辑等20余个子领域，确保评估不偏向单一学科。
- 开源数据集：所有问题与答案以标准化格式开源，方便研究者复现、扩展或定制自己的评估流程。
适用人群
AI研究员与模型开发者是核心用户。他们可通过该基准检验自家模型在极小众、高难度推理任务上的真实水平，识别模型在逻辑断裂、多步记忆、抽象映射等环节的薄弱点。典型场景包括：对比不同训练策略（如强化学习 vs. 监督微调）的效果差异、评估预训练数据的学科覆盖完整性、或作为“能否通过图灵测试2.0”的内部参考。还有，安全与伦理研究者也能借助这些极端案例，预判模型在关键决策时可能暴露的推理漏洞。
亮点与行业地位
作为难度远超MMLU、GPQA等主流基准的测试集，Humanity's Last Exam 中约80%的问题至今未被任何公开模型正确解答。其设计者包括曾参与MMLU、TruthfulQA等基准的核心成员，确保了数据质量与评估方法论的专业性。该基准完全免费开放，不限制商业使用，为此已成为学术界与工业界衡量前沿模型能力天花板的参考标准之一。同类替代品如更侧重常识的MMLU、或专注数学推理的GSM8K，但HLE在“极难且多步骤推理”维度上尚无直接竞品。