知识库运维与评估¶
知识库是持续变化的生产资产。它需要文档更新、检索质量评估、版本发布和资源管理，而不是一次性导入后长期不管。
1. 采集、切片与知识关联¶
- 按文档类型选择切片：规程按章节/条款，故障案例按“现象 → 处置 → 原因 → 结论”。
- 每个 Chunk 保留来源、标题层级、更新时间、权限、设备/厂站/线路等上下文标识。
- 对设备—厂站—线路等强关系可抽取实体三元组，与向量检索并行使用；图谱用于关系约束和定位，向量用于语义相似。
2. Embedding、召回与重排¶
出现调度术语、缩写、同义词导致召回不全/不准时，不要立刻微调大模型。优先检查：术语词表、切片边界、Embedding 模型、query 改写、metadata 过滤和 Reranker。
在有授权和可回滚条件下，向量模型微调或领域预训练应采用版本对比：同一评测集对比召回率、首条命中率、语义匹配和延迟，选定后再固化。
3. 检索日志闭环¶
每天或每周汇总以下样本：检索失败、低相关、语义偏差、超时、用户追问和人工纠正。
每条问题记录至少包含：问题、过滤条件、候选片段及分数、重排结果、最终上下文、模型回答、引用和人工判定。这样才能区分是“没召回”还是“生成错误”。
4. 更新、发布与回滚¶
- 流程修订、设备/案例新增、运行方式变化后，标记受影响文档与 Chunk。
- 重新解析、向量化并在预发布索引中做回归测试。
- 参数或索引变更通过测试后发布，保留上一个索引/模型版本用于回滚。
- 不擅自切换未经确认的基础模型；涉及模型、Embedding 或检索参数的变更都要留痕。
5. 资源与协同¶
- 与现有推理服务或小模型共用资源时，评估显存、并发、峰值和错峰运行，不承诺未经测算的加卡/扩容。
- 标注、数据工程、业务专家和平台团队使用工单协作；敏感数据、设备信息和用户日志按权限与保密规范处理。
- 质量指标要定义口径：不要对外承诺未经评测和验收的“准确率”数字。