AI 交来一份纪要,你敢直接发吗?
这一课先弄明白 AI 写字时到底在做什么,再练一件以后每天都用得上的本事:从一段读着很顺的回答里,找出可能错的地方。
一个只读过 14 句话的接龙机
豆包、DeepSeek、Kimi 这类工具,背后是大语言模型(large language model),常简称大模型。它写回答的办法很朴素:看前面已经写了什么,猜下一个词最可能是什么,写上去,再猜下一个,一直接到它觉得该停了。好比玩成语接龙,只不过它接的是词,而且每次都在算哪个词接上去最像样。
下面是一个极小的接龙机。它只读过青禾科技(一家虚构的公司)的 14 句话,猜下一个词时也只看前一个词。选一个开头,自己点着接,或者让它按概率接。
接龙机
概率是从 14 句材料里真数出来的接出来过的句子
接龙机读过的全部材料(14 句)
多接几次,你会碰到两种句子。一种读着就别扭,比如"小王在周五完成了季度报告由李总审核"。另一种读着很顺,比如"张经理在去年获得了行业大奖"。可材料里张经理没得过奖,得奖的是公司。每一小段都在材料里原样出现过,拼到一起,就成了一句材料里没有的话。
真实的大模型读过的文字多得多,接下一个词时看的是前面很长一段,所以几乎不会接出别扭的句子。它也不是查这样一张计数表,而是用一个很大的神经网络算出每个词的概率(probability)。但"按概率接下一个词"这一点是一样的。严格地说,它接的单位叫词元(token),可能是一个字、一个词或半个词,这门课里叫"词"就够用了。
接得像是它的本事,说得对它不管
接龙机拼出"张经理在去年获得了行业大奖"时,每一步都没出错:每个词都是照材料里的规律接上的。问题在于"接得像"和"说得对"是两件事,它只负责前一件。
大模型一本正经地说出不存在或不对的事,行话叫幻觉(hallucination)。职场里最常碰到的是下面四种:
| 哪种 | 长什么样 | 怎么查 |
|---|---|---|
| 编数字 | 报告里的增长率、"调查显示 87% 的人……" | 找原始数据或原始报告,找不到就不用 |
| 编出处 | 不存在的书名、文件名、条款号、网址 | 点开链接、搜原文;搜不到就当没有 |
| 张冠李戴 | 把甲做的事安到乙头上,像接龙机里的张经理 | 对照原材料 |
| 编结论 | 原文没定下来的事,写成已经定了 | 对照原材料,每条结论找到对应的原话 |
有三点容易误会。
第一,它不是故意骗人,也不知道自己在编。所以问它"你确定吗",它可能改口,也可能说得更肯定,两种回答都不能当证据。
第二,很多工具有"联网搜索"开关。打开后它会先搜网页再写,编的情况会少一些,但仍可能引错网页、抄错数字,或者把几个网页的内容拼在一起。它给了链接,也要点开看一眼。
第三,不联网时,它知道的东西停在训练材料收集完的那个时间点,这叫知识截止(knowledge cutoff)。问它最近的政策、价格、新闻,它可能拿旧的来答,也可能编一个。
给一份 AI 写的会议纪要找错
把会议记录交给 AI 整理成纪要,是职场里最常见的用法之一。下面左边是会上的原始记录,右边是一份 AI 风格的纪要。纪要是我们照着 AI 常犯的错写的(示意),里面有 5 句和原始记录对不上。
把你认为有问题的句子点一下(再点一下取消),选好了点"交卷"。
原始记录
AI 整理的纪要(示意)
核纪要没有捷径:拿着原始记录,一条一条对。只读纪要本身,读得再仔细,也看不出它漏写了什么。
把最该查的地方先标出来
不是每份回答都有原材料可以对。没有原材料时,至少要知道先查哪几处。最容易错、错了麻烦最大的,是这四类说法:日期和时间;数字和金额;出处和引用,比如书名、文件名、条款号、"研究表明";还有说得太满的话,比如"所有""一定""最好"。
下面的扫描器会把这四类标出来。框里是一段我们照着 AI 常见写法编的回答(示意),里面的报告名和数字都是编的,正好拿来练手。你也可以把自己从 AI 那里拿到的回答贴进来扫。扫描只在你的浏览器里进行,文字不会传到任何地方。
扫描器只找"该去查的地方",不判断对错。标出来的不一定错,没标出来的也不一定对。拿第 3 步李总那句来扫,它只会标出"8 万元",标不出"批准了"是编的。它的用处是让你别漏查最容易出事的那几处,剩下的还得靠原材料。
12 件事,分进三个筐
知道它会在哪儿错,就能给手上的活分类。我们分三个筐:
每件事点一个筐
这个分法会随你的情况变。同样是翻译,自己看懂大意放第一个筐,要发给客户就放第二个筐。判断时问自己两句:错了谁能发现?发现不了的话,后果有多大?
让 AI 整理一份纪要,再亲手核一遍
用时约 15 分钟。工具:豆包、DeepSeek、Kimi 任选一个,网页版或手机 App 都行。
- 点下面的按钮,复制第 3 步那份原始会议记录。记录是虚构的,可以放心贴。
- 打开工具,新开一个对话,把记录粘贴进去,后面加一句:请把上面的会议记录整理成会议纪要,分"讨论内容""决定""待定事项"三部分。
- 把它的回答复制回来,贴进第 4 步的扫描器,看它标出了哪些地方。
- 对照原始记录,按下面的自查表逐条核,核过一条勾一条。
它多半会做得不错,也可能一处都没错。全对也要核完,核过的纪要才能发出去。做完可以换一个工具再做一遍,看两个工具错的地方一样不一样。勾选只记在你这台设备的浏览器里。
这几种错,新手几乎都会犯一次
读着顺就信了
怎么认出来:你说不出这句话的依据在哪。
补救:找到原材料或原始出处再用,找不到就删掉。
让它给出处,就当有出处
它给的书名、链接、条款号也可能是编的。
补救:点开链接、搜原文。搜不到,这条就当没有。
问它"你确定吗"
它改口也好、坚持也好,都说明不了对错。
补救:拿原材料核,别让它自己核自己。
只核数字,不核结论
像第 3 步李总那句:数字全对,结论反了。
补救:每一条"决定""结论",都回原文找一句对得上的原话。
不该贴的也贴了进去
客户名单、身份证号、合同金额、没公开的财务数据。
补救:先删掉,或换成"客户甲""某金额"再贴。第 4 课细讲。
5 道小测验
这一课出现的名词
- 大语言模型 / 大模型large language model, LLM
- 读过海量文字、能按概率一个词一个词往下写的程序。豆包、DeepSeek、Kimi 背后都是它。
- 词元token
- 大模型接龙的单位,可能是一个字、一个词或半个词。
- 概率probability
- 接龙时每个候选词被选中的可能性,所有候选加起来是 100%。
- 幻觉hallucination
- AI 一本正经地说出不存在或不对的事,比如编数字、编出处、张冠李戴。
- 知识截止knowledge cutoff
- 训练材料收集到哪个时间点为止。不联网时,那之后的事它不知道。
- 联网搜索web search
- 工具先搜网页再回答的功能。能少编一些,但仍会引错、抄错。
- 提示词prompt
- 你发给 AI 的那段话。第 2 课专门讲怎么写。
- 原材料
- 核对用的依据:会议原始记录、合同原文、官方发布的文件、原始数据。