[Feature]: 精度测试时不支持cmath数据集，建议支持 #625

Activity

1. yue787275

   added

   feature

   on Oct 29, 2026
2. github-actions commented on Oct 29, 2026

   

   github-actionsBot

   on Oct 29, 2026 – with GitHub Actions

   More actions

   🌟欢迎给AISBench benchmark测评工具提issue，我们会尽快处理您的诉求~
3. github-actions commented on Oct 29, 2026

   

   github-actionsBot

   on Oct 29, 2026 – with GitHub Actions

   More actions

   🤖 基于AI机器人的issue内容完整性检查结果:

   问题内容检查结果

   检查状态

   FAIL

   详细检查

   • 问题/痛点描述: COMPLETE
   • 建议方案: INCOMPLETE
   • 预期价值: IN

   👉 如果想重新检查，在评论区@issue_checker即可。

   【强烈推荐❤️‍🔥】确保issue描述完整后，可以试着将issue交给回答，deepwiki包含了和工具相关的所有知识库
4. github-actions

   added

   content_check_failedissue content check failedissue content check failed

   on Oct 29, 2026
5. llauren48 commented on Oct 31, 2026

   

   llauren48

   on Oct 31, 2026

   More actions

   本评论按 Feature Request 模板的三段结构补充 issue 正文中缺失的「建议方案」「预期价值」等内容，issue 作者可直接将各节回填至正文（回填后可在评论区 @issue_checker 重新触发完整性检查）。

   💻 需求背景、当前现状、期望实现的功能内容、具体的设计方案、以及测试方案

   需求背景

   CMATH（论文 arXiv:2306.16636）是中文小学数学（1-6 年级）应用题基准：题干为中文 question，模型需逐步推理（CoT）后给出数值答案，官方指标为数值等价比较下的 accuracy。test 集 1,098 题（另有 validation 600 题）。

   AISBench 目前不支持该数据集，用户无法评估模型的中文数学推理能力。补齐后的预期价值：

   • 填补中文 K-12 数学评测空白（现有数学类数据集 gsm8k / dapo_math 等均为英文或竞赛向）；
   • CMATH 任务可纳入 --datasets 统一调度与 summarizer 汇总，与平台其他精度结果同链路、可比；
   • 为中文数学能力验收提供可回归的基线（首跑结果留存，供模型版本升级与配置变更时回归比较）。

   当前现状

   • ais_bench 已集成 60+ 数据集，其中生成式数学类（gsm8k、dapo_math）与本需求同构，可直接作为参考实现；
   • 框架扩展点完备（registry 注册机制 + datasets/__init__.py 的 _DATASET_MODULES 导入），新增数据集无需改动框架核心（config_manager、OpenICLEvalTask、CLI 全部复用）。

   期望实现的功能内容

   用户从官方仓库下载数据并按 README 部署后，一条命令端到端完成 CMATH 精度测试：

   ais_bench --models vllm_api_general_chat --datasets cmath_gen_0_shot_cot_chat_prompt

   产出：逐题 details（prediction / 抽取答案 / 参考答案 / correct）与汇总 accuracy（判定正确题数 ÷ test 全集题数 × 100%；答案抽取失败计 0 分且保留在分母，结果不静默丢失）。

   具体的设计方案

   全部改动落在数据集能力层，「三合一模块 + 任务配置 + 单测 + 一行注册」，与 gsm8k 的接入模式完全一致：

   落点	方式	职责
   ais_bench/benchmark/datasets/cmath.py	新增	CMATHDataset（loader，读 test 全集，兼容 .json / .jsonl）＋ cmath_postprocess（模型输出抽最终答案：\boxed{} → 中文「答案是／答案为／答案：」→ 末尾数字兜底，无匹配返回 'NULL'）＋ cmath_dataset_postprocess（answer 字段数值化清洗，去千分位／单位文字）＋ CmathEvaluator（数值等价：双方 float 化后 `
   ais_bench/benchmark/configs/datasets/cmath/	新增	0-shot CoT chat 主任务（中文模板，要求模型将最终答案写入 \boxed{}）＋ str 变体 ＋ 双语 README（数据部署与完整性校验指引）
   tests/UT/datasets/test_cmath.py	新增	单元测试（mock 样例数据，不依赖网络与真实数据集）
   ais_bench/benchmark/datasets/__init__.py	修改	_DATASET_MODULES 追加一行模块导入
   ais_bench/benchmark/configs/summarizers/medium.py	可选	数学类目追加 cmath，纳入默认汇总展示

   拟采用口径（社区通行）：instruct / chat 模型、0-shot CoT、test 全集计分、单次运行不择优；few-shot 配置经 read_base 派生，后续按需追加。

   测试方案

   1. 单元测试：覆盖答案抽取分支（boxed / 中文标记 / 末尾数字 / 无答案→NULL）、数值等价（整数／小数／负数／千分位／非数值回退）、score 聚合（含 preds/refs 长度不等时返回 error 标记）、loader（tmp_path 样例 json/jsonl）；
   2. 端到端冒烟：--max-num 10 小样本跑通 CLI → 配置发现 → 推理 → 计分 → 汇总全链路；
   3. 验收对齐：目标模型无官方 CMATH 成绩，验收采用「官方成绩交叉验证 + 合理性校验」策略，见补充说明。

   替代方案

   • 直接使用上游 OpenCompass 原生跑 CMATH：能力上可行，但脱离 AISBench 统一 CLI／配置／报告链路，无法纳入 --datasets 调度与 summarizer 汇总，与其他精度结果不可比，也违背本工具链收敛测评入口的定位；
   • 人工小样本抽检：不可规模化、不可回归，无法作为精度验收依据。

   补充说明

   官方成绩调研（截至 2026-10-31）

   • DeepSeek-V4.1-Flash 无官方 CMATH 成绩：官方发布页 / HF 模型卡 / 技术报告均未发布该项；OpenCompass 司南榜单虽收录该模型（综合均分 70.4），但按能力维度聚合，不公开 CMATH 单项分；
   • 2026 下半年发布的国内外主流模型（Kimi K3、MiniMax H3、Qwen 3.8 Max、GLM-5.3、腾讯混元 Hy4 等）官方均未公布 CMATH 成绩；海外模型数学评测已统一转向 AIME / HMMT / FrontierMath 等竞赛级基准，CMATH 对 2026 旗舰模型区分度有限（量级普遍 90+）；
   • 可用的官方参照成绩（前代 DeepSeek-V4-Flash-Base，284B）：

   基准	官方口径	官方得分	对齐用途
   GSM8K	EM, 8-shot	93.0	同平台交叉验证主锚点
   MATH	EM, 4-shot	61.1	同平台交叉验证主锚点
   MGSM	EM, 8-shot	80.2	参考
   CMath	EM, 3-shot	93.6（对照：V3.2-Base 92.6，V4-Pro-Base 90.9）	CMATH 量级参考（非同模型、非同口径）

   验收对齐标准（最终对齐基准）

   CMATH 绝对值不设硬阈值，最终验收以「官方已发布成绩 + 官方测评方法」为对齐基准：

   1. 前置校验（链路正确性）：同平台同条件跑既有 gsm8k / math 任务，与官方 GSM8K 93.0 / MATH 61.1 对比并记录偏差与方向，证明平台数据链路与计分逻辑无误——这是 CMATH 结果可信的前置条件；
   2. 硬性校验（结果合理性）：CMATH 与同一次运行环境下的 GSM8K 结果差距 ≤ 5 个百分点，且量级落在 90+（参照 V4-Flash-Base 93.6）；超出时先排查答案抽取与数值等价环节，未查明前不下验收结论；
   3. 口径差异清单（必交付项）：验收报告必须附 AISBench 口径（instruct、0-shot CoT、数值等价、test 全集、单次运行）与官方口径（Base、multi-shot、EM、官方内部框架）的差异清单与影响评估；
   4. OpenCompass 社区结果仅作辅助参考；CMATH 首跑未舍入结果与逐题 details 留存为内部基线。

   口径确认

   @yue787275 issue 未指定评测口径，上述方案按社区通行口径设计：0-shot CoT、test 全集、accuracy 数值等价比较。若期望 few-shot、不同子集或其它指标，烦请在本 issue 说明，实现时可相应调整任务配置（模板已预留 few-shot 派生方式）。
6. github-actions commented on Oct 31, 2026

   

   github-actionsBot

   on Oct 31, 2026 – with GitHub Actions

   More actions

   🤖 基于AI机器人的issue内容完整性检查结果:

   问题内容检查结果

   检查状态

   FAIL

   详细检查

   • 问题/痛点描述: INCOMPLETE
   • 建议方案: INCOMPLETE
   • 预期价值: INCOMPLETE

   改进建议

   • **问题/痛

   👉 如果想重新检查，在评论区@issue_checker即可。

   【强烈推荐❤️‍🔥】确保issue描述完整后，可以试着将issue交给回答，deepwiki包含了和工具相关的所有知识库