数据/软件工程

软件工程任务

取自真实代码库的软件工程任务。每个实例都附带可运行的仓库环境、标准补丁、测试补丁与评测脚本；候选修复以真实的 FAIL_TO_PASS / PASS_TO_PASS 测试判定通过与否，而非玩具题。

系列

09 个分支
  • 01

    DeepSWE

    原创的长时程任务，取材于活跃的 TypeScript、Go、Python、JavaScript 与 Rust 仓库，配有隔离环境与基于行为的验证器。

  • 02

    SWEMarathon

    二十个贴近真实、动辄数小时的项目，检验编程智能体能否在超长时程上持续自主地推进软件工作。

  • 03

    ProgramBench

    仅凭编译后的二进制文件及其文档重建整个程序，以参考程序的端到端行为为准评分。

  • 04

    FrontierSWE

    超长时程的实现、性能优化与机器学习研究挑战，难度直抵人类软件工程能力的边界。

  • 05

    SWE-Bench Multilingual

    横跨 8 种以上语言生态的 Issue 修复——Rust、Java、Go、PHP、Ruby、JS/TS、C——远超仅含 Python 的数据集。

  • 06

    SWE-Bench Verified

    经人工验证、自成一体的实例，问题描述所含的上下文足以求解。

  • 07

    SWE-Bench Pro

    企业级难度：仓库更大，跨文件补丁更长，验收标准更严。

  • 08

    SWE-Bench Multimodal

    代码库与视觉或 UI 上下文配对的任务，修复时须让渲染行为与源码彼此吻合。

  • 09

    SWE-Bench Live

    新近整理、未受污染的实例，滚动更新，以防训练集泄漏。

覆盖范围

  • GitHub PR
  • Issue 修复
  • 8+ 种语言生态
  • 测试修复
  • 真实工程约束

交付内容

  • 任务包（JSONL）
  • 逐实例仓库环境
  • 标准补丁与测试补丁
  • 评测脚本
  • 通过率记录与验收报告

构建流程

从源头到验收

我们从不堆一批人工标注，便草草交付。每类数据都要走完一个封闭且全程可观测的循环：依需求生成，经机器检查，由专家裁决，端到端可追溯。而每类数据所走的路径，各有不同。

  1. 01

    任务溯源

    任务取自真实合并的 Pull Request 及其关联 Issue，沿用一线维护者定下的工程约束与验收标准。

  2. 02

    环境冻结

    每个实例的依赖与仓库快照都冻结为一条命令即可复现的环境，候选修复始终在同一真值上接受评测。

  3. 03

    构建判定依据

    重建标准补丁及配套的测试补丁，形成可运行的判定依据，精确界定正确解须让哪些原本失败的测试转为通过。

  4. 04

    自动验证

    评测框架应用候选补丁，在隐藏测试上运行“失败转通过”与回归测试，客观裁定通过与否，无需人工判断。

  5. 05

    覆盖检查

    审核各语言与生态之间的均衡，使测得的是通用工程能力，而非对单一技术栈的熟练度。

  6. 06

    验收报告

    最终的分层抽样与验收报告确认：每个实例在交付前都能构建、能验证，并可追溯至其原始变更。

每轮运行都会产生学习信号，回流至源数据集；流水线由此逐批自我收紧。

样本

看看数据本身

本类别的一份真实样本，经过精简：它服务的场景、对训练的意义，以及交付时的数据形态。

应用场景

  • 评估补丁生成与 Issue 解决能力
  • 以测试为判定依据，在真实的跨文件缺陷修复上训练
  • 以可验证的通过 / 失败奖励开展强化学习，避免回归

对训练的意义

关键

衡量编程能力的黄金标准：每个实例都有真实的测试作判定依据，奖励客观可信，无需主观评判。

主要特点

  • 50 个高难度实例
  • 8+ 种语言生态
  • FAIL_TO_PASS 测试判定
  • 逐实例 Docker 环境
SWE_hard交付包
  • catalog.json21.8 KB
  • instances/
  • pallets-flask-5917-3e16c3fc/
  • evaluation.sh1.2 KB
  • environment/
  • Dockerfile0.9 KB
  • materials/
  • evidence/
  • fastify-fastify-6716-01c9f40a/
  • tokio-rs-tokio-pr8131-me-4faf89d2/
  • symfony-symfony-64261-55a9b0ea/
  • grpc-grpc-go-9102-15bfd03d/
  • rubocop-rubocop-15139-19b52bd4/
README.mdmarkdown
# SWE Hard 50

50 high-difficulty software-engineering instances spanning Python,
JavaScript, Java, Rust, Go, C#, PHP, and Ruby. For patch-generation,
code-repair, and issue-resolution evaluation.

Each instance provides a task description, gold code patch, test patch,
environment build materials, and an evaluation script — for independent
inspection, reproduction, and re-integration.

- dataset.jsonl — all 50 instances, one JSON per line (primary index)
- catalog.json — dataset catalogue and statistics
- instances/<id>/task.json — full structured record
- instances/<id>/evaluation.sh — evaluation script
- instances/<id>/environment/Dockerfile — environment build

需要样本，或想定制构建？

告诉我们规格与规模，我们按单交付。

联系我们
← 返回数据