先说结论：AI 项目烂尾，很少是模型不行，多数是“验收标准没提前定义”。演示时惊艳、上线后没人用，中间差的是四道关卡，每一道都要有可量化的通过条件。
第一关：POC —— 验证“能不能做到”
目标不是好看，是证伪。用 50–100 条真实样本跑一遍，看准确率够不够、失败样本能不能解释。
| 检查项 | 通过标准 |
|---|---|
| 样本来源 | 必须是真实业务数据，不能用整理过的漂亮数据 |
| 效果下限 | 关键任务准确率达到业务方可接受的最低线（通常 80% 起） |
| 失败可解释 | 错的那 20% 能说清为什么错，而不是“模型就这水平” |
| 成本可知 | 单次调用/单页处理的成本能算出来 |
第二关：工程化 —— 验证“稳不稳定”
POC 是单机单次，生产是并发、超时、脏数据、断网。这一关最常见的坑是：效果没问题，但延迟 8 秒、错误没兜底、日志查不到。
- 异常输入（空文档、超长文本、乱码）会不会把服务打挂
- 超时和失败有没有重试与降级路径
- 每次调用有没有留痕，出了问题能不能复盘
- 数据权限是否按人隔离，越权能不能拦住
第三关：验收 —— 验证“算不算达标”
这一关最容易扯皮。合同里写“提升效率”，验收时谁也说不清。可行的做法是把指标拆成三层：
| 层级 | 指标示例 | 谁来认 |
|---|---|---|
| 模型层 | 抽取准确率、引用正确率 | 技术负责人 |
| 业务层 | 单均处理时长、一次解决率 | 业务负责人 |
| 经营层 | 人力节省、错误率下降 | 管理层 |
三层里至少要有两层写进验收条款，并且事先约定统计口径与取样方式。
第四关：运营 —— 验证“有没有人用”
上线不是终点。前三个月是生死期：用户不用、用了不反馈、反馈了没人改，项目就会慢慢死掉。
- 固定一个业务侧“产品负责人”，负责收集问题、决定优先级
- 每周看一次失败样本，按类型归档，而不是零散修
- 保留人工入口，别把用户逼到“只能问机器人”
- 每季度用同一套评测集跑一次，看是退步还是进步
一句实话：AI 项目最贵的不是模型调用费，是上线后没人维护。签合同时把“上线后 3 个月的调优”写进去，比多买两张显卡有用得多。
给准备立项的团队三个建议
- 先选一个“错了也不致命、但确实费人力”的场景，别一上来就动核心业务
- 把预算拆成 POC（1–2 万）+ 正式开发（按场景 4–10 万）+ 运营调优三块
- 验收指标在签合同前定死，别留“双方另行协商”这种口子
