数据/终端

终端与系统运维

围绕真实系统运维构建的终端任务，交付格式与 Terminal-Bench 对齐。每个任务都固定初始环境，配有精确的任务说明、评分细则与确定性的离线验证器，在干净的容器中对照目标状态判定完成与否，结果可复现。

系列

03 个分支
  • 01

    Terminal-Bench General

    覆盖 16 个任务类别的通用终端工作流程——软件工程、系统管理、数据、安全等。

  • 02

    Terminal-Bench Science

    科学计算专项：编译工具链、训练模型、端到端运行数值计算流水线。

  • 03

    Terminal-Bench Challenges

    长时运行的单任务基准——编译器加速、WASM 渲染、推理代码高尔夫——各自独立评分。

覆盖范围

  • 命令链
  • 系统诊断
  • 环境修复
  • SQLite / 数据操作
  • 确定性验证

交付内容

  • 初始环境
  • 任务说明与规格
  • 评分细则
  • 验证脚本
  • 入选理由与验证摘要

构建流程

从源头到验收

我们从不堆一批人工标注，便草草交付。每类数据都要走完一个封闭且全程可观测的循环：依需求生成，经机器检查，由专家裁决，端到端可追溯。而每类数据所走的路径，各有不同。

  1. 01

    环境固定

    每个任务都始于固定的容器镜像，并设明确的资源与超时上限，确立一个干净、一致、任何评测都能精确重建的初始状态。

  2. 02

    预期行为编写

    任务说明完整而精确地规定所需行为与目标状态，涵盖诊断、修复与数据操作，不留解释余地。

  3. 03

    确定性验证器

    构建确定性的离线验证器，严格对照目标状态判定完成与否：评分可复现，可由机器裁定，且无需联网。

  4. 04

    洁净室复现

    在全新容器中从头重跑任务，确认验证器在参考解上通过、在有缺陷的基线上失败，以证明其确有区分力。

  5. 05

    理由与验证

    入选理由与验证摘要记下每个任务为何保留、如何干净复现，为交付物留下可审计的难度与可复现性记录。

每轮运行都会产生学习信号，回流至源数据集；流水线由此逐批自我收紧。

样本

看看数据本身

本类别的一份真实样本，经过精简：它服务的场景、对训练的意义，以及交付时的数据形态。

应用场景

  • 在真实约束下评估系统运维与调试能力
  • 训练确定、可复现的工具使用行为
  • 按与 Terminal-Bench 对齐的格式开展基准测试

对训练的意义

重要

确定性的离线验证器让这些任务评分成本低、结果可复现——这正是强化学习循环最需要的特性。

主要特点

  • 冻结的容器环境
  • 确定性验证器
  • task.toml 资源固定
  • 与 Terminal-Bench 对齐
Terminal_Hard10交付包
  • README.md971 B
  • dataset_manifest.json524 B
  • selection_rationale.json8.4 KB
  • reports/
  • dataset_export/
  • gh_git_history_audit_hoo_a0d76575/
  • tests/
  • solution/
  • environment/
  • gh_sqlite_data_repair_pa_e7ebb8b6/
  • frontier_supervisor_stal_4ca7864e/
  • premium_security_policy_2cc8f58e/
instruction.mdmarkdown
# Repair the Snapshot Permission Audit

This repository contains a small Python CLI that audits a filesystem
snapshot stored in SQLite and writes an unsafe-permission remediation
report. The current implementation is intentionally flawed: it loads too
much data into nested Python loops, merges policy layers incorrectly,
reports superseded snapshot rows, and emits chmod remediation rows for
symlinks.

Keep the public command surface unchanged:

    ./bin/snapshot-perm-audit --db fixtures/snapshots/prod.sqlite \
      --policy fixtures/snapshots/policy.toml \
      --json reports/snapshot.json --csv reports/remediation.csv

## Required Behavior
1. Policy precedence: default_policy.toml < policy.toml < CLI overrides.
   Merge by stable rule id, independent of TOML table order.
2. Audit only the latest observation per normalized path (by observed_at;
   ties broken by highest SQLite rowid).

需要样本，或想定制构建？

告诉我们规格与规模，我们按单交付。

联系我们
← 返回数据