测试工程师

Uber 工程师关于自家流水线中运行的系统的论文。它说 DragonCrawl 在持续集成与交付中不间断运行 1,013 个自动化测试,iOS 通过率 91.6%、安卓 92.2%;把测试接入时间从 96–120 小时降到 4 小时以内,估计节省了 27 个开发者年的测试维护工作;过去执行脚本的测试工程师被重新定位为「上下文工程师」而不是「点击者」,Uber 说它在人员没有同比例增长的情况下实现了可扩展的质量保障。节省的时间是 Uber 自己的估算,讲的是一家公司的移动端到端测试。

企业已正式投入使用。可以改变基线,但要结合规模与场景相似度加权。

对美、英、欧 200 位大型企业资深工程师的自述式调查 —— 而报告由 Lightrun 发布,这家公司卖的正是调试工具,所以结论和产品指向同一个方向。文中引用的亚马逊故障(2026-03-02 与 03-05,溯因为未经批准部署的 AI 辅助代码变更,随后对 335 个系统做了 90 天代码安全整顿)是独立报道的事件;百分比不是。仅限企业软件。

失败、撤回、监管或成本正在抑制采用。可以下调评估,或扩大不确定区间。

Meta 员工关于 Meta 自己工程体系中测试生成的论文。它说,变异引导的大模型加固测试生成已部署在 Meta 的持续集成系统中;早先基于覆盖率的生成器已在 Meta 部署并持续改进了两年;它分析了捕获与加固流程生成的 22,126 个测试;在对 600 个含弱捕获的 diff 的人工研究中,规则与大模型评估器把人工审阅量减少了约 70%。作者说,捕获流程本身的部署主要是为了收集数据;论文里确认捕获数有前后不一致;这些工具是 Meta 自用的。

企业已正式投入使用。可以改变基线,但要结合规模与场景相似度加权。

高校与字节跳动作者关于一家大型消费互联网公司所部署工具的同行评审经验论文。它说,跨服务业务流程的接口回归测试仍主要由质量保障工程师编写和维护;在自 2025 年 3 月起为期九个月的生产部署中,这个工具生成了 3,196 个测试用例,代码总体采用率 85.4%。采用率因业务线差异很大;工具由作者开发,采用率也由他们自己测量。

企业已正式投入使用。可以改变基线,但要结合规模与场景相似度加权。

约束美国行政机构的联邦备忘录。在高影响 AI 的最低风险管理措施中,机构必须制定部署前测试和反映预期现实结果的风险缓解计划;拿不到源代码、模型或数据时,必须使用替代测试方法,例如查询 AI 服务并观察输出,或向供应商提供评估数据;部署后在可行时必须对 AI 用例进行测试和定期人工审查。它约束的是机构,没有点名测试人员,只涉及高影响用途。

监管、补贴或公共采购正在要求或出资推动采用 —— 与「限制或撤回」互为镜像。它说明采用正在被要求,不说明采用已经发生,所以单独一条永远不够,两条互不相干的才够。

微软 AI 红队关于自己测试生成式 AI 产品安全与安保缺陷的论文。它说,截至 2024 年 10 月,团队已开展 80 多次行动,覆盖 100 多个产品;数量之多让完全手工测试不再可行,于是开发了自动化工具;而这类工具不应被用来把人排除在环节之外,因为确定风险优先级、设计攻击和界定新的危害类别都需要人的判断。这是专门的红队,不是产品质量保障;微软出售这些模型,也在推广自己的开源工具。

企业已正式投入使用。可以改变基线,但要结合规模与场景相似度加权。

一家公司,对既有单元测试类做改进并经构建/通过/覆盖率过滤;生成用例 75% 可构建、57% 稳定通过、25% 提升覆盖。公司自撰论文;场景是限时测试马拉松而非日常流水线。

真实场景里的小规模试验。说明落地条件正在被检验,不代表条件已经成立 —— 所以单独一次试点永远不够,两次互不相干的才够。

以手工测试身份入行是本站上最弱的入口,因为那正是走得最快的任务。改为从对抗性思维和那门新学科进入:学会去弄坏没人规定过的东西,学会评估基于模型的系统 —— 那里几乎没有有经验的人,而团队正在招。会写代码现在是这个角色的基线,而不是它内部的一个专长。

如果你的一周主要是回归和脚本维护,这个角色正在你脚下被合并,你应该在它推动你之前先动。你真正的资产是你脑子里那个「这个产品会怎么坏」的模型;把它变成探索性测试、发布判断,以及对你团队几乎一定在加的模型类功能的评估。这些是资深位置,而且正被最先认领的人填上。

调整职责

从执行测试到拥有质量

总得有人来定义「测够了」是什么意思、掌握发布决定、并负责探索性工作。这个角色会留下;执行角色不会。

调整职责

专攻模型类系统的评估

它是新的、稀缺的,而且与测试人员已经在做的事直接相邻。发布模型类功能的团队需要一个假定它坏了的人。

相邻转岗

转测试开发或平台工程

构建让整个团队都能测试的流水线、环境和工具,是需求稳定的工程工作,而且用得上测试人员对「哪会出错」的了解。

手工测试执行是,而且很快。质量作为一门学科不是:仍然要有人想象系统会怎么失败、决定它是否准备好了、并且 —— 越来越多地 —— 评估行为不确定的软件,而这件事几乎还没人会。这份工作正从执行测试转向拥有风险,从断言固定输出转向评估行为。完成这个转变的人比过去的测试人员更值钱;没完成的人会发现角色在自己周围被合并掉。

信号是:这个季度你团队的回归测试套件是谁写的。当套件是生成的、并且能在界面变化后自我修复时,支撑多数 QA 岗位的那块工时就没了 —— 那才是真正发生变化的那项能力,而你会先在自己的代码仓库里看到它,然后才在任何报告里看到。

手工回归与编写用例 —— 标为「正在自动化」的那两项,而光是手工回归就是多数 QA 岗位里最大的一块工时。探索性测试与发布决定不在其中,但它们都不够大,吸收不了那些一周全靠回归填满的人。

这是一门真实且在成长的学科 —— 评测集、行为回归、对抗性提示 —— 而且 QA 的思维方式可以直接迁移。诚实的保留是:它太年轻,没人知道最终会有多大,而且它也可能最后长在模型团队里,而不是 QA 里。