AI写代码越来越快,团队为什么没有一起变快?

举报
霍格沃兹测试开发学社 发表于 2026/10/16 12:19:46 2026/10/16
【摘要】 摘要:AI编程工具让代码、测试和文档生成得越来越快,但DORA与METR的公开研究提醒我们,个人感受到的速度、单项任务耗时和团队最终交付,并不是同一个指标。本文不争论“AI到底提效多少”,而是拆解生产力为何从写代码迁移到定义意图、组织验证和承担验收责任,以及测试工程师在这次迁移中可能获得的新位置。AI编程进入团队后,最先变快的通常很容易看见:空白文件更快有了第一版,接口代码、单元测试和文档很...
摘要:AI编程工具让代码、测试和文档生成得越来越快,但DORA与METR的公开研究提醒我们,个人感受到的速度、单项任务耗时和团队最终交付,并不是同一个指标。本文不争论“AI到底提效多少”,而是拆解生产力为何从写代码迁移到定义意图、组织验证和承担验收责任,以及测试工程师在这次迁移中可能获得的新位置。

AI编程进入团队后,最先变快的通常很容易看见:空白文件更快有了第一版,接口代码、单元测试和文档很快铺满,过去要查半天的陌生库也能迅速得到解释。

真正难回答的问题出现在后面:这些新增产出有没有缩短从需求到用户价值的时间?还是只让代码更早、更大量地到达审查、测试和发布环节?

2026年3月,DORA公开了一份对1110条Google软件工程师开放式反馈的主题分析。研究者发现,AI在代码生成、信息查找、代码审查和测试等环节普遍带来速度感,但“验证开销”和“幻觉”也横跨全部主要用途。DORA将AI描述为一个放大器:它会放大高绩效组织的优势,也会放大流程碎片化、平台脆弱和数据孤岛。

这给“AI提高研发效率”加上了一个经常被忽略的条件:AI加速的是某个动作,还是整个系统?

本文不打算给出一个简单的提效百分比。公开研究本身仍在快速变化,任务、人员、工具和测量方法不同,数字不能直接互换。更值得研究的是,为什么个人明显感觉更快,团队却可能仍然卡在原来的地方。

个人速度、任务速度和团队速度,不是同一件事

一名开发人员让Agent生成一个接口,十分钟拿到可运行版本,这是个人工作流的变化。

一个真实需求从澄清、设计、实现、审查、联调、测试到发布,需要多少时间,是端到端任务的变化。

整个团队一个月交付多少真正可用的功能,同时产生多少返工、线上缺陷和维护成本,则是系统生产力的变化。

三者可能同时改善,也可能完全不同步。

DORA的分析显示,AI能够降低开始任务的阻力、生成样板代码、弥补知识缺口,但节省下来的时间经常被重新投入审查和验证。更快生成的大型改动,会把认知负担从作者转移给审查者。高AI采用还可能同时关联更高的交付吞吐与更高的交付不稳定性。

这不是说AI没有价值,而是说明“生成更多”不能自动推导出“交付更好”。

如果团队仍然用“生成代码行数”“接受了多少AI建议”“一天开了多少PR”衡量进步,就会得到一个很漂亮但危险的数字:产出越多,似乎效率越高。

可这些指标没有告诉你,审查是否更难、需求是否被误解、测试是否与实现同源、上线后是否返工,以及用户真正需要的结果是否更早到达。

同一款AI工具,为什么在三个团队里会得到三种结果

假设三个团队都采购了同样的编码Agent,模型、许可证和使用时间完全一致,最终效果仍然可能截然不同。

第一个团队拥有清晰的接口契约、稳定的测试环境和可追踪的发布流程。Agent生成代码后,静态检查、契约测试、行为回归和权限门禁能够迅速反馈。这里的AI像一个放大器,把原本顺畅的系统推得更快。

第二个团队的需求主要靠口头传递,测试环境时好时坏,历史用例与真实业务已经脱节。Agent同样能快速生成大量改动,但错误要到联调或上线前才暴露。表面上开发阶段缩短了,整个价值流却积累了更多等待和返工。

第三个团队没有建立统一工作流,却同时引入多个Agent。每个人都在用自己的提示词、规则文件和模型组合,生成结果缺少共同证据。工具使用率很高,但团队开始花更多时间判断该信任哪一个答案,以及某个改动究竟由谁负责。

这三个团队的差异,并不在员工是否“会写提示词”,而在组织是否拥有能让快速生成安全流动的基础设施:明确的目标、稳定接口、独立验证、可观察过程和失败后的恢复路径。

因此,采购AI工具只完成了最容易的一步。真正困难的工作,是把个人获得的局部速度转化成团队可以接住的流量。否则Agent就像给拥堵道路增加更多入口,车辆进入得更快,出口却没有增加。

这也解释了为什么DORA把AI称为放大器,而不是一项自动兑现收益的技术。工具相同,组织系统不同,最终得到的可能是更快交付、更快返工,或者更快制造无法解释的复杂度。

两组看似矛盾的研究,恰好暴露了测量问题

METR在2025年的一项随机对照研究中,让16名有经验的开源开发者处理自己熟悉仓库里的246个真实Issue。研究报告称,在当时的工具和样本中,允许使用AI的任务平均耗时反而增加了19%。开发者事前预计AI会让自己提速,完成后也仍感觉提速,主观感受与计时结果出现明显差异。

这项结果曾被概括成“AI让资深开发变慢”,但METR自己给出了非常清楚的边界:样本来自特定开源项目、特定开发者和2025年初的工具,不能证明AI让多数软件开发工作变慢。

到2026年2月,METR又公开说明,后续实验受到严重选择偏差影响。越来越多开发者不愿被随机分配到“禁用AI”的任务,也会避开自己认为AI特别有帮助的任务;多人并行使用Agent后,工作时间本身也更难计算。后续原始数据出现了提速信号,但置信区间较宽,研究团队明确表示,它不足以可靠估计当下真实提效幅度。

这并不是研究“互相打脸”。恰恰相反,它说明AI编程正在让传统生产力测量失效。

当开发者会挑选适合Agent的任务,会让多个Agent并行工作,会在等待期间处理另一件事,单纯比较某个Issue用了多少分钟,已经很难覆盖真实价值。更重要的是,AI可能改变团队愿意做什么:以前成本太高而放弃的重构、文档和测试,现在可能被补上;也可能因为生成太容易,出现更多不值得维护的代码。

所以真正的问题不再只是“同一任务有没有快20%”,而是:团队是否因为AI选择了更有价值的任务,并以可接受的风险把它交付给了用户。

软件工程师3.0,不是把打字速度再提高一倍

GitHub在对22名高级AI用户的访谈中观察到一个角色变化:这些开发者越来越少把自己描述为代码生产者,而更像代码的“创意导演”。他们把重心放到定义意图、协调Agent、消除歧义和验证正确性。

这个样本很小,也集中于高级AI用户,不能据此宣布所有开发者已经进入新阶段。但它提供了一个值得继续观察的方向:当生成动作被大量委托,人的工作不会自动消失,而会向任务选择、约束设计、上下文组织和最终判断迁移。

如果把这种变化称为“软件工程师3.0”,它至少包含四种能力:

第一,定义意图。把“做一个退款功能”拆成谁能退、什么时候能退、金额如何计算、失败后如何恢复,以及哪些动作必须获得人工批准。

第二,组织Agent。决定哪些任务可以并行,哪些必须串行;给每个Agent什么权限、上下文和停止条件;避免多个Agent在同一份代码上制造相互覆盖的改动。

第三,设计证据。要求生成结果不仅能运行,还能说明需求、改动、测试、日志和业务结果怎样对应。

第四,承担验收。有人必须判断用户问题是否真的解决,风险是否被接受,而不是只看Agent是否完成任务。

这四项能力有一个共同点:都不能通过生成更多代码证明。

测试工程师可能迎来一次“职责上移”

很多测试人员担心,Agent会写代码、写测试、跑浏览器以后,测试岗位会被压缩。

部分执行动作确实会减少。重复构造数据、补常规断言、维护低价值脚本,这些工作越来越容易被自动化。但与此同时,团队会遇到一个更难的问题:实现、测试和文档可能由同一套模型、同一份上下文生成,因此会一起理解错。

这时再增加一批由同一个Agent生成的测试,并不能形成真正的独立验证。

测试工程师更有价值的位置,会向三个方向移动。

从写用例,移动到定义不可接受的风险

不是穷举所有可能,而是先明确哪些错误不能发生:跨用户读取订单、未经确认付款、重复退款、权限降级失效、数据无法恢复。

这些红线应该在Agent开始实现之前就存在,而不是代码生成后再补。

从检查结果,移动到设计独立证据

如果Agent说任务完成,测试需要的不是再问一遍“你确定吗”,而是调用独立数据、规则、日志和环境进行验证。

实现与验证应尽量避免完全共享同一个判断来源。必要时可以使用人工定义的契约、历史生产样本、变异测试、另一种模型或确定性业务规则形成交叉证据。

从发布末端,移动到工作流设计

当多个Agent参与需求、编码、测试和发布,权限、顺序、停止条件和失败升级路径本身就成为质量对象。

测试人员如果仍然只在最后接收一个安装包,就会错过最重要的风险形成过程。

这不是“测试要替开发审查所有AI代码”。如果组织只是让Agent扩大产量,再把验证压力全部推给测试,团队只会得到更严重的下游拥堵。

真正的职责上移,是测试参与定义怎样的产出才值得进入下一阶段,并把高频判断变成自动门禁和可复用证据。

团队应该怎样重新测量AI研发效率

可以先停止争论一个全公司通用的“AI提效百分比”,选择一条真实价值流做四周对照。

建议至少同时记录五组数据:

观察层级
不建议只看
更值得记录
个人产出
生成代码行数、接受建议数
完成目标所需主动时间、返工时间
审查验证
PR数量、测试数量
审查耗时、被否决原因、同源错误
交付流程
构建次数
从需求确认到可用发布的周期
线上质量
发布速度
回滚、逃逸缺陷、恢复时间、用户投诉
学习能力
工具使用率
团队能否解释、复现并修正Agent失败

选择两个相近的需求,不要求所有人采用同一种提示词,而是保留任务类型、Agent使用方式、人工介入点、验证时间和最终结果。复盘时重点看瓶颈移到了哪里。

如果生成阶段节省两小时,但审查增加一小时、联调增加两小时,问题不一定是模型不够强,也可能是规格模糊、接口不稳定、测试环境脆弱或团队没有独立验收标准。

DORA所说的“AI是放大器”,真正值得团队警惕的正是这一点:AI可能没有创造旧问题,却会让旧问题以更高速度、更大规模到达下游。

未来一年,真正值得观察的不是代码占比

判断软件工程师3.0是否正在形成,可以观察几个更可靠的信号:

  • 团队是否开始以任务和结果组织Agent,而不只是按工具购买许可证;
  • 需求、代码、测试、Trace和发布证据能否形成可追踪关系;
  • 审查者是否拥有更好的差异摘要、风险定位和独立验证工具;
  • 测试是否在Agent执行前定义红线、权限和停止条件;
  • 效能指标是否从代码数量迁移到用户价值、稳定性和恢复能力;
  • 新人是否仍能形成独立判断,而不是只会接受Agent输出。

这些信号比“多少代码由AI生成”更能说明团队是否真的进入下一代研发方式。

最后

AI写代码越来越快,是正在发生的能力变化;团队有没有一起变快,则取决于组织是否重新设计了验证、集成和验收。

软件工程师3.0不会只是一个更会使用Cursor、Claude Code或Codex的人。更接近真实的定义可能是:他能够把模糊目标转成Agent可以执行的约束,把自动生成结果转成团队可以相信的证据,并对最后交付给用户的结果负责。

对测试工程师而言,这次变化既会淘汰一部分低价值执行,也会扩大一种长期被低估的能力——定义什么叫做正确,以及用什么证据证明它确实正确。

下一步不必先学会指挥十个Agent。先选一条真实需求,把生成时间、验证时间、返工原因和用户结果放到同一张表里。团队第一次看清时间究竟花在哪里,才算真正开始讨论AI研发效率。

事实核验来源

  • DORA 2025报告:https://dora.dev/research/2025/dora-report/
  • DORA 2026分析:https://dora.dev/insights/balancing-ai-tensions/
  • METR 2025随机对照研究:https://metr.org/blog/2025-07-10-early-2025-ai-experienced-os-dev-study/
  • METR 2026实验设计更新:https://metr.org/blog/2026-02-24-uplift-update/
  • GitHub开发者角色研究:https://github.blog/news-insights/octoverse/the-new-identity-of-a-developer-what-changes-and-what-doesnt-in-the-ai-era/

本文部分内容参考了霍格沃兹测试开发学社整理的相关技术资料,主要涉及软件测试、自动化测试、测试开发及 AI 测试等内容,侧重测试实践、工具应用与工程经验整理。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。