知识图谱（七）：质量评估
知识抽取、实体链接、图查询和问答的评估指标、参考集与对照实验。
评估层次与质量维度
知识图谱评估包括知识本身的质量和应用效果。前者关注实体、关系、条件与来源是否正确、完整和一致；后者关注查询或问答是否完成目标任务。评估时分别检查图中的知识和最终结果。
构建流水线中的不同错误会产生相似的最终症状。答案漏掉订单服务，可能是文档没有解析出 checkout-sdk，也可能是实体链接失败，或查询方向错误。评估应保存各阶段输出，分别检查解析、抽取、链接、融合、查询和生成，才能把改进落实到具体环节。
节点数、边数和连通性描述规模与结构，不直接代表质量。激进合并可以让图更连通，却可能连接了两个同名组件；大量抽取普通名词可以增加节点，却未增加可用知识。规模指标应作为运行观测，与事实正确性和任务效果分开报告。
| 层次 | 主要检查对象 | 示例错误 |
|---|---|---|
| 抽取 | 关系与原文含义 | 将修复版本抽成受影响版本 |
| 链接与融合 | 规范身份与冲突 | 将内部包与第三方同名包合并 |
| 查询 | 结果、路径与范围 | 遗漏间接依赖或重复计数 |
| 生成 | 陈述及其支持材料 | 省略影响条件或引用不相干来源 |
参考数据与标注规范
参考集需要固定输入快照、任务范围和标注规则。对一批公告，可以要求标注明确出现的组件版本、影响条件和修复声明；对构建记录，则标注实际锁定的版本和依赖作用域。标注范围限定在提供的材料内。
比较单元必须明确。主体、关系和客体正确但条件缺失，是否算完整正确；同义关系词是否归一；版本范围如何表示；否定断言是否单独计数，都应写入指南。过于严格的字符串匹配会惩罚等价表达，过于宽松的语义匹配又可能放过业务上重要的差异。
可以由两位标注者独立处理一部分样本，讨论分歧并修订规范。例如“1.5 已修复”不应在没有额外依据时被扩写成“所有早期版本均受影响”。最终记录应包含原文位置、规范标识和判定理由，使争议和后续修订能够追溯。
样本需要覆盖不同来源、文档结构和关系类型。只评估格式整齐的公告，会低估简称、跨段指代、表格错位和撤回记录的影响。困难案例可以单独作为回归集，代表真实分布的保留集则用于判断总体效果，二者用途不同。
抽取与链接评估指标
精确率衡量输出中有多少正确事实，召回率衡量参考事实中有多少被找回。假设参考集有 20 条关系，系统输出 18 条，其中 15 条在实体、关系和条件上都正确，则精确率为 15/18，约 83.3%；召回率为 15/20，即 75%；F1 为 2×15/(18+20)，约 78.9%。
| 指标 | 分子与分母 | 统计口径 |
|---|---|---|
| 关系精确率 | 正确输出关系数 / 全部输出关系数 | 正确必须包含哪些条件 |
| 关系召回率 | 正确输出关系数 / 参考关系数 | 参考集覆盖的是哪个范围 |
| 实体链接准确率 | 链接正确的提及数 / 被评估提及数 | 弃权样本如何计入 |
| 证据完整率 | 至少有一份可定位且支持该断言的证据的已发布断言数 / 已发布断言总数 | 每个断言只计一次；仅有 URL 不等于证据支持 |
| 约束通过率 | 通过指定校验的记录数 / 被校验记录数 | 通过结构检查不代表事实真实 |
评估前通常需要对同一断言去重。重叠切块输出三次相同关系，应另行计入重复率，而不是增加正确关系数。证据完整率也按断言计数：一个断言有三份有效证据，仍只计为一个有证据的断言。
微平均先汇总各类关系计数，容易受高频类型支配；宏平均先计算每类指标再平均，能够显示低频类型的表现。若 DEPENDS_ON 占绝大多数，较高总分仍可能掩盖 OWNED_BY 的严重错误，应同时报告关键类型的结果。
允许弃权的实体链接器需要同时报告准确率和覆盖率。只处理最容易的少量提及可以提高准确率，却把大量工作转交给人工。阈值选择应结合错误合并、漏合并和审核成本，比较不同阈值下的实际取舍。
查询与问答评估
查询评估首先核对结果集合。本例对 parser 1.4 应得到订单服务和报表服务，但集合正确并不意味着展示的路径和团队都正确。还应检查每条边是否存在、方向是否一致、证据是否支持以及所用时间快照是否匹配。
路径任务需要定义允许答案。要求一条见证路径时，多条等长最短路径都可以正确；要求全部升级入口时，只返回一条则不足。参考结果按业务问题定义，忽略无关的输出顺序。缺少团队记录或目标不存在等状态也应纳入验证。
问答评估包括事实正确、条件完整、引用支持和无答案处理。可以使用模型辅助评分，但应提供明确量表并抽样人工复核，尤其检查引用是否真正支持相邻陈述，而不仅是链接是否存在。
性能指标应记录延迟分布与超时比例。常见组件可能连接数千个服务，冷门组件只有几个邻居，混在一起的平均延迟会掩盖重要尾部。报告 p50、p95 时需要说明问题分布、缓存状态、结果规模和更新负载，才能比较不同配置。
基线、消融与实验控制
评估图检索时，可以用关键词与向量混合检索作为基线。各组应使用相同语料快照、问题集和答案模型，并限制或明确记录检索与上下文预算。多调用几轮模型获得的收益，不能全部归因于图结构。
问题集可以分为精确事实、跨文档关联、全局总结、时间条件、无答案和权限受限问题。图可能改善关联类题目，却在简单事实检索上增加噪声。按真实业务问题的比例汇总各类结果。
消融实验一次移除或替换一个组件，例如去掉图扩展、去掉社区摘要或改用另一种邻居选择，观察证据召回和答案变化。若结果不变，可能表示该组件没有贡献，也可能表示测试集缺少相关难度；需要结合错误样本解释。
| 记录类别 | 需要保留的内容 |
|---|---|
| 数据与任务 | 语料快照、问题集版本、图构建版本 |
| 系统配置 | 实体链接规则、检索配置、模型及提示词版本 |
| 质量结果 | 证据召回、事实正确、引用支持、拒答表现 |
| 成本与性能 | 索引费用、更新费用、单次查询费用、延迟分布 |
训练、调参与评估还需要避免数据泄漏。用来选择提示词和阈值的样本不应继续被当作独立保留集；历史任务不能使用未来才发布的公告。BenchmarkQED 等工具可辅助生成问题和组织评估，但自动产生的题目及评分仍需核对其范围与偏差。
错误分析与回归验证
错误分析按照最早发生偏差的阶段分类，通常比仅记录最终答案“错误”更有用。实体错链应修复身份规则或候选比较，条件丢失应检查抽取与生成环节，旧答案则要检查更新和缓存。一个结果可能有多个原因，应保存证据并明确每次修复的目标。
例如十个遗漏中有八个来自 checkout-sdk 的组织名称歧义，补充包坐标比更换答案模型更直接。若正确条件已进入上下文但生成时被省略，应该改进答案结构和句子级检查。修改后先运行固定回归集，再使用保留集判断是否过度适配已知样本。
2026 年半结构化数据构图评估预印本将质量区分为语法有效性、语义准确性、一致性、简洁性、完整性及能力问题上的实用性；另一项构图与 GNN 联合评估研究试图区分构图方法与下游模型的影响。
验收阈值最终取决于应用。资料探索可以容忍更多待核查候选，团队通知要求身份和证据可靠，自动执行变更还需要独立的授权与执行控制。按这些用途分别设定验收指标。