可证伪的预测:把主张变成能记账的断言

举报
ySimon 发表于 2026/10/03 18:11:02 2026/10/03
【摘要】 「我做过X,效果很好。」这句话在评审里出现过无数次。它的问题不是可能为假,而是它不可能为假——任何结果都能被它圆回去。效果差,可以说场景不匹配;效果好,可以说方法论对了。一个无法被任何观察结果推翻的陈

「我做过 X,效果很好。」

这句话在评审里出现过无数次。它的问题不是可能为假,而是它不可能为假——任何结果都能被它圆回去。效果差,可以说场景不匹配;效果好,可以说方法论对了。一个无法被任何观察结果推翻的陈述,不是结论,是姿态。

工程上我们早就吃过这个亏。一份质量门禁全绿,不代表质量好,只代表门禁没被问过它答不上来的问题。把副本数从 3 改成 0,服务永远起不来,而门禁照样返回 0。检查通过了,但它本来就不可能失败——它从来没有在证明任何事。

问题的根子是记账。钱之所以可信,不是因为谁发誓,而是因为每一笔都写进账本,事后能对。主张也一样:一句不能被记进账、不能在到期日自动结算的话,就只能靠语气取胜。语气是没有结算日的。

所以立场很简单:没有判定判据的产出,不算产出;不能被结算的主张,不算主张。

什么算「可证伪的预测」

一条能被记账的断言,至少要含七个成分。缺一个,它就从预测退化成宣传。七个里最容易漏掉的是「数据来源」和「入链凭证」:前者决定别人能不能自己算一遍,后者决定你事后能不能赖账。

成分 要回答的问题 反例
主张 一句话,可被推翻 提升明显
置信度 0.0–1.0,发布时定死,事后不许回改 我很有信心
时间窗 起止日期,到期即结算 长期来看
结算判据 什么算命中、什么算落空,提前写死 事后才说方向对了
数据来源 数字从哪来,谁都能取到 内部统计显示
入链凭证 发布前固化的哈希,改了能查出来 事后补一份记录
状态 命中/落空/弃权,弃权单独统计 不结不清,一直挂着

置信度不是走形式的。它逼你把「我觉得挺稳」换算成一个能被打分的数字,事后拿它和实际命中率比,你才知道自己是校准良好的,还是一直过誉自己。

关键在顺序:判据必须在动工之前写死。事后补的判据不是判据,是为结论量身定做的橡皮尺——谁都能在结果出来之后,找到一把刚好卡得上的尺子。

把主张改写成断言

改写不是修辞练习,是把一段无法检验的说法,压成一段能对账的说法。

例一,性能。

原句:优化了查询链路,响应快了很多,用户反馈良好。

改写:在 A 数据集上,P95 延迟从当前 420ms 降到 300ms 以下,观测窗口为发布后第 7 天到第 14 天,数据取自线上指标服务,窗口内请求样本不少于 30 万次。达标记命中,否则记落空,置信度 0.6。

原句谁都没法反驳,改写句会在第 14 天给出一个明确、且可能让我难堪的答案。

例二,工具。

原句:这个校验器很可靠,挡住了绝大多数非法输入。

改写:对同一批构造的非法配置,工具的退出码由 1 变 0 的比例不高于 5%。判据是删一行、清空值、把数字改成 0 三类变异各造 20 个样本,逐个执行。跑不到的样本记弃权,不记命中。

例三,根因。

原句:经过这次排查,找到了根因。

改写:那条被怀疑的路径确实会泄漏——给出复现命令,在干净环境执行退出码非 0;把该路径改回原样,命令退出码为 0。两个方向都跑通才算根因,只跑通一个方向,最多算相关。

有个通用判断法:把主张里每个数字都问一句「它在什么条件下会取到别的值」。答不上来的数字不是测量,是装饰。一个永远是 1.0 的分数不说明一切正常,只说明它没被测过。

三条能落地的做法

一、先冻结检查,再干活。 验收检查在动工之前写好并入哈希链,之后改一个字,此前所有结论作废——这得由机制保证,不能靠自觉。一个聪明且自利的执行者,如果允许它自己写验收测试,它一定会写出一个必然通过的测试。

二、用「本来会失败的输入」喂门禁。 门禁通过之后,主动改坏被检查的产物再跑一遍。在坏输入上照样通过的门禁,从来就不是证据。这步不需要信任任何人,它只是一次变异加一次重跑。

三、给每条预测留出弃权和落空路径。 信息不足时诚实弃权,不算命中也不算落空,但弃权率要单独统计——弃权率飙升,说明判据在逃避结算。落空记录永久保留,不删不改不辩护。只展示成功路径的账本,和没有账本是一回事。

还有一条常被忽略:净胜率必须有对照基线。预测「最热的那一个会继续热」是最省事的策略,如果你的预测不比这条朴素基线强,账本应该诚实显示出来。基线让「我猜中了」和「随便猜也能中」分开。

结算要按到期日走,不按心情走。到期当天给结论,不许拖到数据变好看的那天再结。

一句话

把主张写成预测——带判据、带时间窗、带数据来源,并且允许它落空。这不是为了显得严谨,而是因为一个不可能错的结论,对任何人都没有信息量。能被查错的记录,比漂亮的成绩单有用得多。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。