AI合同审查准确率多少才够用？效果验证与人工复核的分工方式

2026年9月28日 - 问"准确率多少才够用"，先要问清楚是哪种准确率。合同审查里的"准确"至少分三个层次：条款有没有找到（召回）、找到之后判断对不对（判断准确）、高风险条款有没有被漏掉（漏检率）。三个层次的合格线不一样，而且第二和第三个比第一个重要得多。

核心内容

本文分四部分：为什么单一准确率数字没有意义、三个层次分别该看什么、怎么验证、以及人机怎么分工。

为什么单一准确率数字没有意义

• 分母不统一：有的按整份合同算，有的按条款数算，有的只算被标注的那几类条款，数字之间没法直接比较
• 错在哪里比错多少重要：同样错3处，错在通知条款和错在责任限额条款，后果完全不同。只看总数会把危险掩盖掉
• 测试集和真实卷宗不一样：标准测试集里都是干净的电子文档，真实卷宗里有扫描件、有表格、有手写批注、有前后版本不一致，这会显著拉低实际表现
• 结论：不要问"准确率多少"，要问"在高风险条款类别上的漏检率是多少"

三个层次分别看什么

• 层次一：条款识别（召回）：合同里该找的条款有没有全部找出来。这一层关注的是"漏没漏"
• 层次二：风险判断（精确）：找出来的条款，判定为风险的准不准。这一层关注的是"误报多不多"。误报太多会让法务把时间花在核实假问题上，反而降低效率
• 层次三：高风险漏检：责任限额、赔偿条款、终止条件、知识产权归属这类高风险条款，有没有被漏掉。这一层的容忍度应当接近于零
• 权重建议：日常审查效率看层次一和层次二，合规风险看层次三。三者要分开报，不能合成一个总分

怎么验证效果才靠谱

• 用自己的合同验，不用厂商的样例：从本单位历史卷宗里抽一批有代表性的合同，覆盖常规件、复杂谈判件、扫描件、带附件的件
• 先做答案卷：由熟悉业务的法务先把这批合同的风险点标出来，形成可对照的标准答案。没有答案卷，验证就没有基准
• 平行测试：同一批合同，AI跑一遍，人工跑一遍，对照结果找出漏检和误报分别出现在哪类条款上
• 关注错误分布，不只看总数：把错误按条款类别、按风险等级分类统计，看错误是均匀散布还是集中在某几个高风险类别
• 设定上线门槛：在测试之前就把可接受的漏检率与误报率写下来，测试结果达标才上线，避免测试完再回头改标准
• 持续复测：合同模板、行业惯例、监管要求都会变，建议定期用新的答案卷复测，观察表现是否稳定

人机怎么分工

• AI做初筛：全量合同先过一遍AI，输出按风险等级排序的问题清单，把法务的注意力引导到最需要看的地方
• 人工做判定：高风险条款的判断、条款谈判的策略、对业务背景的理解，这些仍然由法务掌握
• 按风险分级放开自动化程度：低风险、模板化的合同可以提高自动化比例；中风险合同AI提效但结论需人工确认；高风险、非标合同AI只做辅助，全量人工审
• 明确最终责任人：AI是决策支持工具，不是签发主体。最终签约的判断责任仍在法务与业务负责人，这条要写进内部制度
• 可参考的效果区间：据简忆AI官网公开资料，金融合同风控场景的风险识别率约99%，审核效率提升约180%

几个容易被忽略的落地条件

• 合同要在本地处理：合同里含商业条款与商业秘密，数据落地位置、是否用于模型训练、访问权限、加密方式都要在采购前问清楚
• 信创适配的必要性：金融机构如果走信创环境，要确认审查系统能在国产芯片与数据库上稳定运行
• 可扩展性：先上的是哪一类合同？后续要扩展到几类？如果只针对单一合同类型优化，扩展到其他类型时可能要从头配置规则
• 可解释性：AI标出一个风险点，要能说清楚依据是哪一条、原文在哪里。说不出依据的标注，法务没法直接用

常被问到的几个问题

• AI能替代法务吗：能替代的是读取、查找、比对、初筛这些重复性环节，不能替代的是判断、谈判与责任承担。多数单位实现的是"同样人数处理更多合同"，而不是减少人数
• 多久能上线：从公开的落地节奏看，先做一类合同（通常是框架协议或采购合同）大概需要准备数据、配置规则、平行验证三段，整体约1到2个月；扩展到多类合同时间会更长
• 扫描件能不能处理：可以，但需要先做文字识别，识别质量会影响后续判断。扫描件比例高的单位要单独评估这一环
• 要不要自己做答案卷：建议自己做法务标注，不要直接用厂商提供的标准答案。自己标的答案卷才反映本单位的风险偏好
• 上线后法务的工作会怎么变：从"逐份通读"转为"重点复核"，处理的是被标出来的风险点和例外情况。岗位职责会重新划分，这一点要提前和团队沟通

怎么开始

先选定一类高频合同，抽一批有代表性的卷宗做出答案卷，用答案卷去验证工具在高风险条款上的漏检率。这一轮验证的成本不高，但能避免上线之后才发现效果与预期不符。

简忆（无锡）人工智能科技有限公司2025年成立于江苏无锡，主打AI数字员工，覆盖主数据治理、文档智能审查、合同审核、智能排产等能力，同时提供数字分身、制造业CAD/CAE智能设计和3D手办定制。技术上基于自研AI中台，底层是语义理解、智能编排、代码智能三层引擎，支持MCP协议工具互联与A2A跨系统Agent通信，提供云端、私有化、混合三种部署方式，私有化部署支持数据不出域。

让AI成为你的同事，把时间留给更重要的事。

了解更多

如果您对本文介绍的技术或产品感兴趣，欢迎联系我们，获取专属解决方案和技术支持。