这篇只讲一件事：AI 功能怎么验收。演示能过，不代表能用。
写给要在验收单上签字的甲方负责人，和要跟老板解释"这套东西行不行"的 IT 负责人。全文约 2600 字，读完 7 分钟。
结论放前面：AI 功能的问题，多数不是效果差，是效果没人算得清。验收单上写着"智能、准确、提升效率"，这三个词都量不出来。
验收会那天，供应商接上投影，输入一条提前准备好的问题。答案出来得很完整，段落分明，还带了几条引用。老板点头。
IT 负责人问了一句：准确率多少。
对方说，我们测过，挺好的。
会议室安静了两秒，没人再问。验收单签了。
三个月后，业务在群里说：「那个 AI 问什么都不知道，我们还是手工弄。」
「演示那天挺好，上线之后没人用。」这句话我们今年听到不止一次。演示没造假，那条路径它确实走得通。问题在于，演示是样本里的一个点，验收要的是这个点在多大范围内成立。
做演示的人会挑题，这不是欺骗，是本分。十个问题挑三个最漂亮的，换成我们自己上台也一样。
真实使用长的是另一个样子：错别字、内部简称、一句话塞两件事、隔一周回来说"还是上次那个"。这些输入不会出现在演示里，因为它们不好看。
飞猪的算法专家在一次技术直播里说，他们想用当时最好的模型直接把"两大一小"的门票组好，实测准确率也就百分之八十左右。后来的方案是模型提需求、确定性求解器算结果，不让模型拍板。
百分之八十，在演示里是五条对四条，会议室里没人较真。放到一天几百单上，就是每五单有一单要人返工。差距不在技术，在样本量。
演示测的是上限，上线考的是平均值。
大部分 AI 项目卡住，不是模型不够好，是没人给出一个数字：错到什么程度就不能上。
有位企业 Agent 技术负责人在同一场直播里说，toB 场景要稳定在百分之九十以上、甚至九十五以上才敢真用，因为一次错，责任要落到人。这话对，但只对一半——"九十五"离开具体环节就没有意义。
反过来看，报关这类流程，一个字段填错整个申请可能被驳回。这里九十五等于不能用，剩下五个点的返工比纯人工还贵。包材审核更极端：要审六七十项字段，每项背后是不同国家的不同要求。
准确率不该是一个数，该是一张分层表。我们在项目里分三层：
第一层，必须百分百。金额、库存、账期、审批权限、对外报价。模型只负责理解和填槽，数字由代码算、由规则校验。
第二层，允许错，但错了要看得见。分类、打标、摘要、回复草稿。这类错了能改，前提是有人能发现，所以界面上要标"这条是 AI 写的"。
第三层，这一期先不做。既不百分百、错了又看不见的，先别放进这一版。这一层最难写进纪要，因为它意味着砍需求，却是验收能过的唯一办法。分层定完，"九十五"才有意义。
人出错会犹豫，会说"这个我得查一下"。模型不会。它给你一个格式完整、语气笃定、字段齐全的答案。
同一场直播里有一句话，值得每个甲方听到：模型很容易编一个非常符合业务规则的酒店房型 ID，用户完全感受不到。价格、库存、日期都填得整齐，只有那个 ID 不存在。
这就是 AI 出错的典型形状。不是答不出来，是答得太像对的。所以验收要看的，不是它答对时有多好，是它答错时你看不看得出来。
三个动作，会上当场能测，不需要懂技术：
一、问一个知识库里根本没有的东西。它说"没查到"，这个功能可用；它编了一段，现在不能签。
二、问一个超出这个账号权限的东西。它说"你没权限"，权限就做进去了；它照答，说明权限只做在界面上。
三、给一句有歧义的话，比如"上周那个客户的单子帮我改一下"。看它是反问你要哪一个，还是自己挑一个改掉。自己挑的那个，就是将来出事的地方。
一个能说出"我不确定"的系统，比一个从不出错的系统更值得签。前者把风险留在界面上，后者把风险留到三个月后。
行业里常用"能不能撤回"判断一个操作能不能交给 AI。这个标准有用，但不够。盖章、审核这类动作本身不复杂，可涉及金额或责任重大时，业务方觉得哪怕百分之九十九也不让做，因为恢复成本接受不了。所以即使能用 AI 下单，原来的下单、取消界面也不能删——撤回靠的是老流程。
我们的判断三条：涉及钱、涉及对外承诺、涉及权限变更，一律留人确认。剩下交给模型。
还有一件事不是准确率问题，是边界问题。有家服饰行业的头部企业，内部 Agent 没做限制，能直接调内部数据库接口，并发也没限，结果把接口打崩，线上影响半个多小时。技术没错，错在没人给它定过上限。
这类事故验收阶段看不出来，因为演示只有一个人一个账号。它要到几十个人同时用、某个环节开始重试时才出现。所以清单里必须有一条：并发有没有上限，超了会不会自动降级。
反方向的坑也得提。货拉拉的技术总监讲过一个观察：把原来在界面上点的操作改成对话，在老客户身上效率反而降低，属于左手倒右手。Agent 该做原来做不到的事，不是把已有能力重做一遍。
五个问题，不需要懂技术，但能让对面知道你不是来听演示的：
一、测试集有多少条，谁挑的？里面有没有错别字、长句、跨主题的问题？全是干净的标准问法，数字再大也不说明什么。
二、上一版多少分，这一版多少分，是不是同一套题？换题之后涨的分不算涨。做法是留一份线上真实数据当"黄金集"，每次迭代在同一份上回测。否则改一版你不知道是变好还是变坏，模型还会学会在那套题上偷懒。
三、它答错时界面怎么表现？照样给完整答案，还是提示不确定、建议转人工。这条决定业务敢不敢用。
四、出错最坏的结果是什么，多久能撤回？答不上来的，从本期范围里划掉，比签下来再返工便宜。
五、每月调用花多少钱，超了怎么办？不设上限的项目，第一张账单通常会让人吃惊一次。
下一次验收，把演示从议程里拿掉。改成：当场打开你们的系统，从最近两周的真实工单里随便抽二十条，一条条跑。跑完看两件事——对了几条，错的那几条能不能一眼看出来。
演示能证明的是"它能做到"，验收要证明的是"它做不到的时候，你知不知道该做什么"。
一句话总结：AI 功能不是买回来就能用的东西，是签完字才开始被验证的东西。验收多花两小时，能省掉上线后三个月的解释。
你们验收 AI 功能时，问过哪个问题最管用？或者被哪个演示骗过？留言说说，我一条条回。
验收只是起点，真正的考验是上线后 90 天有没有被用起来。回复「清单」，领取《SaaS 上线 90 天采纳率自查清单》，里面有 30 个能自己打勾的判断项。
