结论先行:员工拿到一个答案,判断它能不能用,看三样东西就够:答案有没有点到具体出处、出处本身在不在自己的权限范围内、答不出来的时候它是不是明说了。三样齐全,答案可以直接用;缺一样就要去问人。这套判断不需要懂技术,但需要平台把这三样做成默认行为——否则员工用两周就会放弃,退回到「群里问一句」。

本文只谈使用者拿到答案之后怎么判断可信度、管理员该把哪几样做成默认,不谈 AI 产出的内容对外发布之前要走哪些审核流程。

「说得挺像」不是判据

内部问答工具刚上线时,最常见的评价是「答得挺像那么回事」。这句话其实说的是语气,不是准确度。语言模型有一个特点:它不知道的时候,表达方式和不确知的时候差别很小,一样通顺、一样有条理、一样给出一二三四。

于是出现一种典型的失效:员工问了一个流程问题,得到一段结构完整的回答,照着办了,被财务或 HR 退回来说不对。后面他就不用了——不是因为这个工具错得多,而是因为错一次的成本比问人高。

要让人愿意继续用,靠的不是把答案调得更准,是让员工有能力在一句话之内判断这个答案值不值得照做。

其一:答案有没有点到具体出处

一个可用的答案,应该能指到具体的文档、条款、表单或者系统页面,而不是停在「根据公司规定」。前者可以被验证,后者只能被相信。

实操上有一个简单的检验:看完答案之后,你能不能在三步之内打开它引用的那份文件。打不开、找不到、或者引用的是一份三年前的旧版本,这个答案就不该直接用。

对管理员来说,这意味着知识源要有准入。行政问答、财务流程、HR 政策这类内容,能进知识源的应当是正式发布过的版本,而不是散落在群文件和个人电脑里的草稿。把未定稿的文档喂进去,答案看起来丰富,实际每一条都带着风险。

其二:出处本身在不在你的权限范围内

这一条最容易被忽略。答案引用了一份文件,但员工没有权限看那份文件——这种情况下,答案实际上是「越权摘要」。

它有两层问题。轻的一层是没法验证:看不到原文,员工只能无条件相信摘要。重的一层是权限:如果问答工具能在没有权限的情况下把内容摘要出来,那它就绕开了原有的权限体系。

所以判断方法很简单:引用打不开时,先问一句这是权限问题还是文档不存在。前者说明平台没有做权限对齐,后者说明知识源没维护好。两种都不该由使用者自己承担后果。

其三:答不出来的时候,它说不说「不知道」

这一条最能看出平台做没做扎实。一个可靠的问答,遇到知识库里没有的内容,应该说清哪部分能答、哪部分需要找人确认;不可靠的做法是给出一段听起来完整的推断。

使用者可以自己试一次:问一个明显超出范围的问题,比如问一个还没发布的政策细节、或者问某个跨部门的特殊审批。如果它照样给出一段条理清晰的答案,那么它对正常问题的答案也要打折看。

三个反信号,出现一个就该停下来

  • 同事之间开始互相转发同一条答案。同一条内容被反复引用,说明它已经脱离出处独立传播。一旦源头被修订,转发过的那些版本不会跟着变。
  • 制度更新了,答案没变。说明知识源没有跟着制度走。可以拿最近一次修订的制度试一次,答的还是旧版,这个知识库就该重建。
  • 问题问得越具体,答案反而越含糊。具体问题需要具体条款,含糊说明它其实没有找到依据,只是在往下猜。

管理员侧要做的三件事

  1. 给知识源定责任人。每类内容(行政、财务、HR、业务制度)指定一个人负责版本与准入,没有责任人的文档不进知识库。
  2. 把权限对齐做在接入口。问答的检索范围要跟员工在协作平台里的可见范围一致,不能出现「摘要能看、原文不能看」的情况。
  3. 留问答日志,并且定期看。哪些问题答不上来、哪些答案被反复追问,这两类记录是最直接的知识缺口清单。同时要有审计留痕,谁在什么时候问了什么、答案引用了哪些文档,事后能查。

落地清单

  • 上线前用二十个真实问题做一次盲测,把「答案是否带出处」逐条记下来,作为基线。
  • 在界面上把出处做成可点的,别只放在文字里。
  • 写一页使用说明,只讲三件事:怎么看出处、引用打不开时找谁、什么情况下不要采信。
  • 每月抽十条被追问最多的问答,回看知识源是否需要补文档。
  • 把「答不上来」当成正常状态来设计,而不是当成故障来隐藏。

边界与前提

这套判断的前提有三条。其一,平台要能记录并展示答案引用的来源,纯生成式的工具无法满足;其二,协作平台里的文档权限要相对清晰,如果文档本身就散、权限混乱,问答的权限对齐也无从下手;其三,要有内容责任人,没有人的知识库,再好的检索也会慢慢失效。

文中提到的部署形态、席位起点、审计日志能力等信息出自产品材料,属参考性说明。具体能力随版本与部署方式(公有云、专属环境、私有化)差异较大,实际效果应以本项目测试为准。

深圳市奇摩计算机有限公司在交付这类 AI 办公项目时,习惯先做两件事:把知识源的准入和责任人定下来,再做权限对齐测试。作为服务端,这个顺序带来的差别很明显——先定内容再谈工具,员工头一回用就拿到能用的答案;顺序反过来,前面省下的时间后面都要花在解释上。

如果内部问答已经上线,但员工还是习惯去群里问,预约咨询,可以先做一次知识源准入与权限对齐的检查。