数据/基准

即买即用的基准数据包

对齐主流公开基准、即插即用的评测资产。上述类别按需定制,这里则是采购通道:标准化数据包与各基准的官方任务定义和评分方式一致,并附可复现的验证环境,免去你的团队自行复现之劳。

覆盖范围

  • Terminal-Bench
  • SWE-Bench
  • health_bench
  • STEM 赛道
  • 开箱即用的封装

交付内容

  • 数据包
  • 版本说明
  • 评分脚本
  • 验证环境
  • 验收报告

构建流程

从源头到验收

我们从不堆一批人工标注,便草草交付。每类数据都要走完一个封闭且全程可观测的循环:依需求生成,经机器检查,由专家裁决,端到端可追溯。而每类数据所走的路径,各有不同。

  1. 01

    定义解析

    完整解析各基准的官方任务定义与评分规则,依原始规格构建数据包,而非二手的近似。

  2. 02

    结构镜像

    将任务映射到一套相匹配、文档完备的数据结构中,既保留官方结构,又便于加载、易于接入现有评测框架。

  3. 03

    验证环境

    组装可运行的验证环境,评分流水线端到端执行,买方可就地复现结果,无需自行重建评测框架。

  4. 04

    跨环境保真

    在另一独立环境中复现分数,并与官方公布的数字对照,确认数据包的评分与基准原意完全一致。

  5. 05

    版本与验收

    版本说明与验收报告记录基准版本、任何偏差与已通过的保真检查,使每项资产都能清晰追溯至官方来源。

每轮运行都会产生学习信号,回流至源数据集;流水线由此逐批自我收紧。

样本

看看数据本身

本类别的一份真实样本,经过精简:它服务的场景、对训练的意义,以及交付时的数据形态。

应用场景

  • 快速搭建标准评测框架
  • 直接采购经过验证的公开基准资产
  • 以官方基准数字为基线进行对照

对训练的意义

基础

快速、低风险的起步之选:今天即可购得的标准化资产,无需自行复现。

主要特点

  • 与官方评分一致
  • 可复现的验证环境
  • 附版本说明
  • 可追溯至来源

这一通道打包的,正是上文软件工程与终端两类数据所依据的公开基准,以标准化、带版本的资产交付,附评分脚本与验证环境。如需了解底层数据形态,请参阅这两个类别——此处的区别在于采购方式,而非数据格式。

需要样本,或想定制构建?

告诉我们规格与规模,我们按单交付。

联系我们

← 返回数据