运维 / 平台工程师 / SRE

谷歌在讲自己的运维,不是在把东西卖给别人:作者是一名 Distinguished Software Engineer 与一名 Distinguished Site Reliability Engineer,发在公司博客上。用过去时或现在时写下的那一半才值得记:SRE 团队已经做出的代理会根据事故中的使用情况持续监控并改进 playbook,也能从事故里生成新的 playbook;一个告警代理负责归并、预处理并补充上下文,再交给自主的处理器;另有代理把事故期间用到的聊天空间、录像与跟踪文档汇总起来,在 SRE 之间生成交接文档,起草事后复盘,并管理对内对外的事故沟通;还有一批代理被建来调查事故,用原文的话说,在某些情况下自主缓解问题;以及 AI Insights —— 一个复盘历史事故、把提取到的东西喂回给这些代理的系统。文中其余部分是计划,不予记录。三条界限,第一条最大。全文没有一个数字:没有说这些覆盖了多大比例的事故,没有说跑着多少个代理,没有前后对比,也没说排班上有多少人。第二,利害是直接的,而且不因为它是当事方自述就消失 —— 底下点名的每一个部件都是谷歌自己的产品(Gemini、Agent Development Kit、Gemini Enterprise Agent Platform、跑在谷歌 API 基础设施上的 MCP),所以这篇文章同时也是一份卖这些东西的参考架构。第三,这只是一个运营方,而且是个特殊的:一个把自己的可靠性方法论做了二十年的组织,替不了一个四个人轮班扛 pager 的团队。它之所以是关于这项任务而不是关于工具的证据,在于这些代理坐的位置:凌晨三点那个决定周围的活 —— 把上下文攒起来、交接、告诉别人现在怎么样、事后写下来 —— 正是移走的那部分;而原文写着,对风险较高的服务,采用代理并不必然意味着把人从流程里拿掉。

企业已正式投入使用。可以改变基线,但要结合规模与场景相似度加权。

一家公司、迈阿密的一台边缘路由器、25 分钟(20:25–20:50 UTC)。重点在于自动化写出了什么:一次经由 Cloudflare 策略自动化平台推送的变更移除了前缀列表引用,留下的策略条目过于宽松,以至于把每一条 internal 类型的前缀都标记为可对外通告。回滚是人工做的,并暂停了那台路由器上的自动化。记为「实际部署」而不是「限制或撤回」,因为采用并没有被抑制:Cloudflare 自己写明的补救是在 CI/CD 流水线里加入自动的路由策略评估 —— 让机器检查机器,不是加一道人工闸门。它确立的是:在一家大型网络运营商那里,工程师是通过一个跑在生产上的自动化平台来做路由策略变更的,由该平台生成并应用配置;它没有说明该运营商的配置里有多大比例是机器写的,而一家厂商的一次事故也不是行业的度量。

企业已正式投入使用。可以改变基线,但要结合规模与场景相似度加权。

这是一份从业者调查,所以 90% 是自我报告的使用率而不是被测量的使用率;而同时出现的「超过 80% 认为它提升了生产率」是一种「认为」,必须当作「认为」来读 —— 本站收录着一次随机对照试验:有经验的开发者实际慢了 19%,而他们认为自己快了 20%。所以「对自己速度的判断」不是关于速度的证据。不属于「对自身表现的自我报告」的,是研究者在受访者之间算出的相关性,而那才是有用的部分:采用与交付吞吐量和产品表现正相关,与交付稳定性负相关。作者给出的机制很具体 —— 在没有强自动化测试、成熟版本管理与快速反馈回路的情况下,变更量上升会带来不稳定;而处于松耦合架构的团队获益,紧耦合的团队几乎没有获益。这份报告由 Google Cloud 发布,而它出售它所询问的那些工具。

一件工具在真实工作里被大规模使用,并且被测量到 —— 而做出「用它」这个决定的是使用者本人,不是雇主。它比「技术能力」多:干的是真活,不是演示;又比「实际部署」少:没有任何雇主把它投入生产、要求使用、或围绕它改过流程。权重定为 `cautious`:`automating` 的定义是「机器能做这件事**并且**有采用迹象」,而这就是一种采用迹象 —— 但使用可能只是试用,而且相当一部分测量来自有利害关系的一方,所以一条永远不够,两条独立的才够。还要注意是谁在计数。厂商遥测直接看得见这件事,而它同时在卖这件工具,所以这类记录要在适用范围里写明这层利害;而一个统计机构去问企业「员工有没有在任务里用 AI」,看见的是同一条通道、却没有任何利害 —— 在它存在的地方,它是更好的来源。

这是云服务商自己关于一次多小时、波及其众多服务的中断的事故报告。它说:根源处的那项变更没有适当的错误处理,也没有功能开关保护;服务缺少随机指数退避,因此某一地区的恢复最长用了约 2 小时 40 分钟;补救措施包括把服务架构模块化,使功能相互隔离并在故障时保持放行,以及让数据复制逐步传播、留出验证时间。这是一家公司对自己事故的说法;出问题的是普通代码,不是 AI。

失败、撤回、监管或成本正在抑制采用。可以下调评估,或扩大不确定区间。

这是这家安全厂商对 2024 年 7 月那次导致全球 Windows 电脑崩溃的更新所作的根因分析。它发现:自动内容校验器存在逻辑错误;自动测试只选了一组 12 个固定用例;每个模板实例都应分阶段推送,并请两家独立的第三方软件安全厂商进一步审查。这是公司对自身失败的说法;失效的自动化是一个校验器,不是 AI。

失败、撤回、监管或成本正在抑制采用。可以下调评估,或扩大不确定区间。

美国一个联邦机构。这份案例由总务管理局发布,联系人是人事管理局的副首席信息官。它说人事管理局的 Azure 云支出自 2021 年以来增长了 2,000% 以上,因此设立了专门监控和管理云成本的团队;其异常检测建立了看板,用来发现、识别并处理云支出的意外增长;每一类决定都用决策矩阵;团队追踪预留实例承诺、资源缩配、预算管理和预测等决定。它没有说检测用的是 AI 还是简单阈值。进展截至 2024 年 3 月;按该月月底记。

企业已正式投入使用。可以改变基线,但要结合规模与场景相似度加权。

一份受委托的行业研究,不是测量;把它记下来,是因为它指的方向和本站多数记录相反。同一份文件里,一边预期独立的支持工程岗位会萎缩,一边预期那些活会落到这个岗位上:它写明 DevOps 职能将接管「监督服务级别协议」与「开发新系统」,开发职能将接管「管理和优化系统性能」,把开发与运维合到一起提供更完整的支持;它把自动化与编排工程师列为受冲击较小的岗位,以及受冲击大的基础设施工程师可以转入的岗位,但没有说对它的需求在增长。它还把 DevOps 工程师列为那些预期被替换掉的支持工程师「容易」或「中等难度」可以转过去的去向。这些都不能证明有人真的被招了、人数真的涨了、或者这次转移真的发生了 —— 它是一家机构的预期,发表在生成式 AI 进入公众视野之前,只覆盖新加坡,来源是利益相关方访谈而不是就业数据。它真正确立的是:同一份报告里那条「岗位被替换」的判断,并不是在说这些活消失了。

一个有资格的人,在具名、有日期、可归属的公开表态里,对未来做出了一个判断。记录它,是为了让「谁在什么时候说了什么」保持可核对 —— 而它永远不改变任务判断,因为预测不是观察。它的价值在之后才到:这条记录和那个职业的证据同在一页,读到预测的人,旁边就是「后来发生了什么」的记录。那就是结算;本站不对一条预测是否应验发布结论。

过去招初级的那一级台阶 —— 写配置、接管线 —— 正是机制最清楚地对着的那一级,因为它是「结果可被机器判定」的代码。留给新人的于是是待命 —— 而那是最难的一部分,本来是要靠资历换来的。要在上待命表之前很久,就争取进入事故复盘。

你的筹码是设计决策和事故拍板,而两者在一周里都只占一小片。风险不是它们被自动化,而是围着它们的那些工时被削薄,直到一个工程师覆盖的服务多到没有一个人脑子装得下。要像服务员盯「人均桌数」那样,盯「人均服务数」。

保住并强化

往设计那一端走,离接线那一端远一点

设计决策没有自动裁判,而这正是没有工具能在它上面闭环的原因 —— 它也是这份工作里会复利的那部分。

调整职责

去负责「别人搭的东西好不好运维」

被生成的配置变多,意味着更多「没有人负责」的系统 —— 而总得有人守住「什么东西才被允许上生产」这条标准。

配置那一半在动,而且动得快 —— 因为基础设施代码要么干净地应用上去、要么报错,而「结果可被机器判定」正是让模型在无人看管下重试的那条性质。待命没有在动,因为一次事故按定义就是「没有人预想过」的那次故障,而拍板关于的是可接受的损害,不是正确答案。可能的形态不是被拿掉,而是被削薄:更少的工程师覆盖更多的服务 —— 每一项任务都还在,而待命变得更糟。

不给日期。有两个你自己就能算出来的数字,比任何预测都说明问题:你一周里有多大比例花在「应用上去要么成功要么报错」的工作上,以及你们待命表上现在每个工程师负责几个服务。前者是你的任务暴露度;后者才是真正会落到这一行的人身上的那个变化 —— 而它在工具落地之后悄悄移动。

通常不是。而这是本站最清楚的一个例子:一件「看起来像节省、表现得像负债」的工具。每创建一份资源,就是一份日后要有人维护、加固、并最终删掉的资源 —— 所以配置写得更快产出的是更多配置,不是更少的活;工时从「写」挪到「拆」。而拆在路线图上看不见,这恰恰是它被当成节省记进预算的原因。

它是这个职业里最安全的一项任务,同时也是最小的一项。一个设计对不对,要在做出之后很久才知道 —— 也就是说没有自动裁判,因此没有任何工具能在上面闭环;但设计决策在多数团队的工时里只占一小部分。一个岗位完全可以在它最资深的任务上很稳,同时失去它大部分工时 —— 而要围着做规划的,正是这个落差。