官方数据集提供方公开资料
WorkflowEvals Agent 轨迹可观测性数据集
包含 111 个案例，用于评测两种审查配置下针对 Agent 运行轨迹选择动作的能力。
该官方数据集把 Agent 运行轨迹与审查问题、预期动作和公开模型决策关联起来，用于可观测性工作流评测。
- 发布方
- TypeSafe AI
- 发布或提交日期
- 来源未注明
- 最近核验
- 2026年10月8日
Type Safe 仅整理来源和证据边界，不把提供方数据或第三方预印本转换为独立排行榜。
关键事实
- 案例
- 111
- 问题实例
- 1,124
- 公开运行结果
- 999
- 数据集许可证
- 已审查来源未注明
任务与范围
在两种审查配置下进行 Agent 运行轨迹的动作选择。
数据结构
案例 cases · 问题 questions · 运行结果 run_results · 2,234 行
评测指标
exact_actions · primary_action
数据集许可证
来源未注明
方法与使用方式
- 工作流要求模型在两种审查配置下，根据 Agent 运行轨迹选择审查动作。
- 公开输出可针对选定参考结果计算完整动作和主要动作的一致率。
限制与证据边界
- 已审查的数据集卡片没有注明数据集许可证。
- 不同 Agent 系统的轨迹结构、工具和审查政策差异较大，迁移到其他技术栈时需要本地评测。