工作流Type Safe Workflow社区需要复核
RAG 引用支持性验证
在 RAG 答案展示给用户前，检查引用段落是否支持每一项结论。
对结论与证据的支持关系进行评分，并把无支持或模糊结论交给修改或人工复核的编辑工作流。
- 提供方
- Type Safe Workflow
- 审核日期
- 2026年9月23日
- 项目状态
- 社区
- 核实状态
- 需要复核
- 分类
- research, development
- 兼容方式
- JEV, Laya, Bespoke Nimble, RAG
输入
- ✓Atomic claim
- ✓Cited passage
- ✓Document metadata
输出
- ✓Support label
- ✓Contradiction label
- ✓Confidence
- ✓Route
工作流步骤
- 1把生成文本拆分为可以独立判断的结论。
- 2把每个引用解析到模型看到的具体段落。
- 3逐对判断支持、矛盾、证据不足或不适用。
- 4在模型评估前直接拒绝缺少引用的结论。
- 5把无支持、矛盾和低置信度结论交给修改或复核。
- 6所有重要结论通过政策后才能发布。
决策任务
- ✓验证
工作流实施指南
该编辑模式投入实际业务前需要本地评估。测试版本为空表示本站尚未在固定模型版本上执行。
业务问题
检索到的文档可能与主题相关，却不一定支持生成答案中的具体结论。
适用人群
运营检索增强助手、答案引擎或内部知识工具的团队。
模型选择说明
需要用业务领域内的结论与证据对进行评估。选择取决于语言、证据长度、部署政策和错误成本。
已测试模型版本
未知
- 行业
- Knowledge Management, AI Products
- 难度
- advanced
- 预计设置时间
- 1 to 2 days including labelled evaluation
- 兼容模型候选
- jev, laya, bespoke-nimble
- 所需集成
- RAG pipeline, Citation mapper
- 推荐模型
- 本地评估前不推荐单一模型
详细执行步骤
- 1把生成文本拆分为可以独立判断的结论。
- 2把每个引用解析到模型看到的具体段落。
- 3逐对判断支持、矛盾、证据不足或不适用。
- 4在模型评估前直接拒绝缺少引用的结论。
- 5把无支持、矛盾和低置信度结论交给修改或复核。
- 6所有重要结论通过政策后才能发布。
置信度政策
阈值需要根据业务领域证据进行校准。矛盾结论始终阻止发布，缺失或不足的证据不能被高置信度抵消。
人工复核政策
重要的无支持结论、政策敏感答案，以及确定性引用检查与模型判断冲突的案例需要人工复核。
隐私说明
证据可能来自机密文档。需要减少传输段落，在检索前执行访问控制，并避免记录完整输入。
成本说明
成本随结论数量和证据长度增长。可以对段落去重，但只有在有明确政策时才能跳过非重要结论。
常见失败模式
- ✓长段落包含相似措辞，却不支持完整结论。
- ✓生成答案把多个事实合并为无法判断的单个结论。
- ✓内容暴露后才执行引用访问控制。
排查方法
- ✓把证据缩短到保留上下文所需的最小段落。
- ✓拆分复合结论，同时保留与原句的对应关系。
结构化请求示例
{"state":{"claim":"The policy covers contractors.","evidence":"This policy applies to employees only."},"questions":{"support":{"type":"choice","criteria":{"supported":null,"contradicted":null,"insufficient":null}}}}Require every material claim to pass
typescript · TypeScript 5.9
type ClaimCheck = {
material: boolean;
label: 'supported' | 'contradicted' | 'insufficient';
confidence: number;
};
export function answerRoute(checks: ClaimCheck[]) {
const unsafe = checks.some((check) =>
check.material && (check.label !== 'supported' || check.confidence < 0.9)
);
return unsafe ? 'revise-or-review' : 'publish';
}实施建议
在代码审查中明确保留输入和输出定义。模型响应进入数据库、API 或面向客户的操作前，都需要执行校验。