即买即用的基准数据包
对齐主流公开基准、即插即用的评测资产。上述类别按需定制,这里则是采购通道:标准化数据包与各基准的官方任务定义和评分方式一致,并附可复现的验证环境,免去你的团队自行复现之劳。
覆盖范围
- Terminal-Bench
- SWE-Bench
- health_bench
- STEM 赛道
- 开箱即用的封装
交付内容
- 数据包
- 版本说明
- 评分脚本
- 验证环境
- 验收报告
从源头到验收
我们从不堆一批人工标注,便草草交付。每类数据都要走完一个封闭且全程可观测的循环:依需求生成,经机器检查,由专家裁决,端到端可追溯。而每类数据所走的路径,各有不同。
- 01
定义解析
完整解析各基准的官方任务定义与评分规则,依原始规格构建数据包,而非二手的近似。
- 02
结构镜像
将任务映射到一套相匹配、文档完备的数据结构中,既保留官方结构,又便于加载、易于接入现有评测框架。
- 03
验证环境
组装可运行的验证环境,评分流水线端到端执行,买方可就地复现结果,无需自行重建评测框架。
- 04
跨环境保真
在另一独立环境中复现分数,并与官方公布的数字对照,确认数据包的评分与基准原意完全一致。
- 05
版本与验收
版本说明与验收报告记录基准版本、任何偏差与已通过的保真检查,使每项资产都能清晰追溯至官方来源。
每轮运行都会产生学习信号,回流至源数据集;流水线由此逐批自我收紧。
看看数据本身
本类别的一份真实样本,经过精简:它服务的场景、对训练的意义,以及交付时的数据形态。
应用场景
- 快速搭建标准评测框架
- 直接采购经过验证的公开基准资产
- 以官方基准数字为基线进行对照
对训练的意义
基础
快速、低风险的起步之选:今天即可购得的标准化资产,无需自行复现。
主要特点
这一通道打包的,正是上文软件工程与终端两类数据所依据的公开基准,以标准化、带版本的资产交付,附评分脚本与验证环境。如需了解底层数据形态,请参阅这两个类别——此处的区别在于采购方式,而非数据格式。
需要样本,或想定制构建?
告诉我们规格与规模,我们按单交付。
← 返回数据
