如何向Superhuman报告数据问题Issue沟通最佳实践【免费下载链接】superhuman项目地址: https://gitcode.com/GitHub_Trending/sup/superhumanSuperhuman 是 Google DeepMind 的推理基准数据仓库内含 IMO-Bench 等核心数据集。当你在数据中发现拼写错误、题目歧义或答案错误时可以按照 Issue 沟通最佳实践提交一份清晰的问题报告——团队已多次依据社区反馈修复数据并发布 v2 版本。本文是一份面向新手的 Superhuman 数据问题上报实用指南。为什么数据质量对 Superhuman 很重要Superhuman 的维护团队有着很好的数据修复记录2025 年 5 月因修复PB-Advanced-022中的一处拼写错误发布 proofbench_v2.csv旧版 proofbench.csv 被标记为弃用2026 年 2 月因修复部分题目表述歧义和答案错误发布 answerbench_v2.csv旧版 answerbench.csv 被弃用。这些修复都始于外部使用者发现的问题——imobench/README.md 的致谢名单中专门点名了帮忙定位问题的社区贡献者。换句话说你的 Issue 真的会被认真对待。上报前先了解4 个数据集的结构所有基准数据集中在 imobench/ 目录下每个 CSV 都有清晰的字段结构数据集文件核心字段IMO-AnswerBenchimobench/answerbench_v2.csvProblem ID、Problem、Short Answer、CategoryIMO-ProofBenchimobench/proofbench_v2.csvProblem ID、Solution、Grading guidelines、LevelIMO-GradingBenchimobench/gradingbench.csvGrading ID、Response、Points、RewardIMO-LeanProofBenchimobench/lean_proof_bench.csv在 ProofBench 基础上增加 Lean Statement 列两个实用建议以 Problem ID 为锚点。例如PB-Advanced-022、imo-bench-algebra-001Issue 中务必引用具体 ID这是维护者定位数据最快的方式确认你查看的是最新版本。弃用的旧版文件中的问题不会再被修复先核对 imobench/README.md 中的版本说明。写出高质量 Issue 的 5 个要素 ✍️明确的标题[AnswerBench] imo-bench-geometry-015 题目表述歧义格式为[数据集] 问题ID 一句话描述精确定位写清是哪个 CSV、哪一行用 Problem ID描述问题类型拼写错误 / 答案错误 / 条件缺失 / 表述歧义并附上推理过程附上证据引用原题原文给出推导或反例——对数学题而言反例是最有说服力的证据建议修复方案给出修正后的题干或答案可以显著降低维护者的验证成本。一个理想的 Issue 大致长这样标题[ProofBench] PB-Advanced-022 题目表述有拼写错误文件imobench/proofbench.csv问题题干中 …… 应为 ……证据附推导或反例建议将题干修改为 ……沟通规范提前知道的 3 件事 Superhuman 仓库的 CONTRIBUTING.md 明确了三条贡献规范贡献者许可协议CLA对项目的贡献需附带 CLA 签署通常只需签一次强制代码评审所有提交包括维护者本人的都需要经过评审社区行为准则遵循 Google 开源社区行为准则保持尊重、基于事实的沟通。好消息是纯 Issue 报告不需要 CLA。只有当你直接提交 PR 修改 CSV 数据时才需要签署协议。GradingBench 数据与评分相关的问题怎么报如果你的问题涉及评分细则Grading guidelines建议先理解 gradingbench.csv 中 1000 条人类评分记录的结构——每条记录包含 Response、Points 和 Reward 字段上报时建议说明你的问题会影响哪个评分档位Correct / Almost / Partial / Incorrect这样维护者能更快评估影响范围。这张图显示人类评分与自动评分高度相关Pearson r 0.87。正因如此哪怕一条数据的表述偏差都可能扭曲整个评测结果——这也是为什么值得花时间认真上报。常见问题 FAQ 提交 Issue 后多久会有回复团队会以发布新版数据集如 v2 文件的方式修复问题周期不定。请保持耐心避免反复重复提交。必须用英文写吗建议用英文。整个仓库以英文维护英文表述能显著提升沟通效率。别人可能已经报告过这个问题怎么办先检索已有 Issue 避免重复不确定就直接提交维护者会将其标记为重复项不会有任何负面后果。小结向 Superhuman 报告数据问题的完整路径是确认最新文件版本 → 用 Problem ID 定位 → 写包含 5 要素的 Issue → 遵循社区沟通准则。无论你的发现是一处拼写错误还是一个错误答案它都可能成为下一版数据集修复的起点——这正是这个开源基准持续变好的方式。【免费下载链接】superhuman项目地址: https://gitcode.com/GitHub_Trending/sup/superhuman创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考