把资料整理进文件夹,是知识库建设的一步。客户验收时更关心:有人或 AI 问到具体问题,能否找到正确版本,答案是否符合业务事实;公开在官网的部分,客户是否能直接阅读。上一篇知识条目教学示例展示了条目的结构,本文接着说明怎样测试它的使用效果。
第一层:先验收资料本身
选择一条产品线或一个服务场景,抽查高频问题对应的条目。每条至少能说明:问题与适用条件、经确认的答案、来源文件或网址、来源版本与日期、审核负责人、公开等级,以及变化后如何更新。资料冲突时,先由企业负责人确定权威来源;价格、资质、产品适配和交付承诺不由 AI 猜测。
这层验收的结果是“资料能否追溯和维护”,不能由此推断 AI 已能准确回答,也不能推断网页已被搜索收录。
第二层:接入内部 AI 后,测找资料和回答
若项目包含内部问答工具,应先确认它实际连接了哪一批经授权的资料、使用哪个版本,以及提问者拥有哪些访问权限。随后由业务负责人为一组测试题写下标准答案、应引用的来源、缺条件时应追问什么、出现旧版本时应怎样处理。
小范围试点可先准备 12 道题:正常问法、同义问法、缺少关键条件、旧版本或冲突资料各 3 道。这个数量是测试设计示例,不是星禾元亨已完成的客户验收记录,也不是所有项目固定的交付数量。查看 12 道测试题模板 →
| 资料命中 | 记录工具实际引用了什么来源和版本;若工具不提供来源记录,标记“无法核验”,不计算命中率。 |
|---|---|
| 回答正确 | 对照事先确认的标准答案,分别记录正确、部分正确、错误、应追问却猜测、按要求追问。 |
| 边界处理 | 价格、资质、适配或承诺缺依据时,应明确待确认并交给负责人。 |
每题保存原问题、测试日期、工具和版本(无法确认则注明)、可访问的资料范围、原回答、引用来源、人工判定与修改动作。只有题目、标准答案和逐题结果齐全时,才计算本轮资料命中率和回答正确率,并写明分母;单次通过不等于以后任何问题都不会答错。
第三层:公开答案上官网后,测客户能否找到
内部资料不必全部公开。把已确认、允许公开的答案转成官网服务页、FAQ、产品或问题文章,保留适用条件、依据日期和咨询入口。先直接读取网页,检查无需登录、固定网址、标题、正文和链接都正常,并从首页或相关服务页进入,再更新网站地图。
随后按具体网址分别记录搜索收录、爬虫访问和 AI 回答是否实际引用官网。网页返回正常,只能证明这次访问可读;搜索收录与 AI 引用需要各自的证据。星禾元亨现有的公开页面核验台账用“未验证”记录尚未取得证据的状态。
怎样形成一份可复查的验收记录?
- 先写清本轮范围:哪条产品线或服务、哪些资料版本、哪种问答工具、哪些公开页面。
- 由业务负责人确认测试题、标准答案、来源和不得猜测的边界。
- 保存每题原问、原答、引用、判定、问题归因与修复负责人。
- 修正知识条目或页面后,用同一套题复测,保留前后版本和日期。
- 分别汇总资料质量、内部问答、官网可读、搜索收录和 AI 引用状态。
目前本站公开的是方法和教学模板,不是某个客户项目的命中率、正确率或效果报告;真实客户记录只有在取得授权、完成脱敏并核准统计口径后才可展示。
常见问题
知识库放进飞书等文档工具,就能在网上搜到吗?
不能仅凭存放位置作判断。内部协作和对外搜索是不同用途:内部问答要检查工具是否接入了有权限的资料;对外搜索则应发布经审核的官网正文,并另行核验具体网址的收录状态。
知识库内容转成官网文章,是否就算验收通过?
只完成了公开内容建设的一部分。还需检查事实依据、页面可读和后续收录状态;如果合同范围包含内部 AI 问答,还要单独测试找资料、回答、追问和旧版本处理。
12 道题都通过,能保证 AI 以后不答错吗?
不能。测试只能说明指定日期、资料版本、工具配置和题目范围内的结果。资料或系统变化后,应保留原题复测并增加新发现的问题。
没有内部问答工具,还能验收知识库吗?
可以先验收条目来源、版本、审核、公开权限与官网使用情况;资料命中率和回答正确率应等实际问答工具接入并留下逐题记录后再计算。
从哪里开始?
先准备一条重点产品线或服务、现有资料、客户高频问题和能够确认事实的负责人,再确定本轮只验收官网公开内容,还是同时测试内部 AI 问答。具体范围与交付物在开始前确认。查看咨询准备资料。