数据工程师

一个监管机构、一个数据集,依法定义务上报。条目 CFTC-001,在逐条上报的 CSV 里,全文只有两句:一个异常检测模型,「旨在识别 TCR 数据里可能有误的数据加载」,用的是「基于聚合数据的孤立森林模型」,并「每天自动运行」。条目没有投产日期、没有供应商、没有量、也没有说这个模型抓到了什么或漏掉了什么,所以这里的日期取合并清单的发布日(2026-01-28),而部署本身没有任何一个日期。它立住的是:至少有一个数据团队已经把这项任务的前一半 —— 察觉一次加载看起来不对 —— 交给了一个定时跑的模型;它对后一半一个字没说,即弄清那次错误加载意味着什么、该怎么办。同一份清单里有一条反着读的条目:DOJ-0006,烟酒枪炮及爆炸物管理局列了一个数据平台,其异常检测与数据质量功能「内嵌在工具里」,并补了一句「不过我们并不直接使用这些功能」。一项列出来的能力和一项用起来的能力是两件事,而这份清单的格式允许机构说清自己是哪一种。

企业已正式投入使用。可以改变基线,但要结合规模与场景相似度加权。

同一份普查,20 道题里的第十三题:「用知识检索系统查找机构信息」是 45 个里 35 个答 Y。产品那一列点的是系统本身而不是一个类别 —— 多数填 Microsoft 365 Copilot,能源部填 ChatGPT Enterprise,总务管理局通过自建的 USAi 平台接 Claude 与 Gemini,卫生与公众服务部填 Palantir Foundry 与 Credal,国土安全部填 Vertex AI 与 RelativityOne,商务部与运输部填 AWS Bedrock。这项任务标的是 emerging,意思是「因为自动化才出现的工作」,而这份普查立住的是它的前提:45 个机构里有 35 个,有一套检索系统指着本机构的文档,于是就有一份语料要有人保鲜、有人划范围。它立不住的是那份工作本身。文件里没有一列写「谁在维护这套系统读的东西」,没有工作量,也没说这件事归数据团队、档案部门还是供应商。它还只是一个雇主,而且是个特殊的雇主:一个必须公开自己 AI 清单、又必须为「谁可以看哪份文件」负责的机构,不能替一个两样义务都没有的雇主作答。

企业已正式投入使用。可以改变基线,但要结合规模与场景相似度加权。

632 道题来自 BigQuery 与 Snowflake 上真实的数据应用,数据库常常超过 1,000 列。难在哪里由作者写明,而那正是这个岗位每天所在的环境:答案需要翻数据库元数据与方言文档、读项目自己的代码库、扛住极长的上下文,并写出好几段不同方言、动辄上百行的查询。21.3% 是 2024 年底某个智能体框架配 o1-preview 的成绩,会过时;经得住时间的是它与 Spider 1.0 的 91.2%、BIRD 的 73.0% 之间的差距 —— 那是对「难度有多少其实长在数仓里、而不是长在 SQL 里」的一次测量。它没有说任何关于用工的事,也没有说任何关于「建管道」而非「查数据」的事:它考的是产出那条查询,不是运维那套持续产出查询的系统。

失败、撤回、监管或成本正在抑制采用。可以下调评估,或扩大不确定区间。

一家大型科技公司,其自有的大数据平台。工程团队写道:优步不给团队设硬性上限和预算,而是让相关的人看清成本和资源使用;它的成本效率项目会作出自动的、基于数据的降本决定;其中一个项目检查数据表的访问模式,对不常被访问的数据给负责人开工单,推动删除或设置过期,类似的检查也会为闲置的算力开工单以缩减或停用。由负责人处理工单;文章没有给出被采纳的数量。

企业已正式投入使用。可以改变基线,但要结合规模与场景相似度加权。

搭管道 —— 教程教的那件事,也是你会被招进来做的那件事 —— 是暴露的那一半。撑得住的是「知道一个数字本来应该是什么意思」,而这只能通过靠近用它的那些人来学。一份离业务很远的数据工作,是这个岗位里风险更高的那个版本。

查询变便宜,抬高了「谁为定义负责」的价值,压低了「只搬运数据」的价值。如果你一周主要在接数据源和排调度,那是暴露的那种配置;如果主要在争论「什么才算一个客户」,那是耐久的那种。

保住并强化

守住语义,不是守住管子

当任何人都能用话问出一个问题,答案就取决于工具捡起了谁的定义。成为决定那件事的人,是耐久的位置。

调整职责

把检索那一层接过来

公司里每一个 AI 功能最终都会变成三个问题:读哪些文档、多新、谁有权看 —— 那就是这份工作换了个名字。

相邻转岗

往决策那一侧走

分析工程与产品分析坐在数仓和「据此行动的人」之间,而这套推理可以直接迁移过去。

逐项去问,因为它们不是一起动的。搭管道与排调度是暴露的那部分,而且早在生成式工具之前就一直在变便宜。而「察觉到一个数字悄悄不再是它原来的意思」完全没有动,因为那份知识关于生意,不关于数据。一个你自己能核对的信号:上个季度某个数字出错时,是谁发现的、怎么发现的。

本站的证据指向相反的方向,而且很具体。在 632 个取自真实企业数仓的数据工作流上,一个代码智能体只解决了 21.3%,而在同类任务的学术版本上是 91.2%。这个落差不在 SQL —— 在于动辄超过 1,000 列的表结构,以及长在表结构之外的含义。查询变便宜,抬高的是「维护那份含义的人」的价值。

取决于你会做哪一半 —— 而这件事值得在转过去之前问清楚。主要是接数据源和排调度的岗位,处在暴露的那一半,而且已经商品化很多年了。靠近业务、需要你就定义去争论的岗位,是耐久的那一半。两种情况的职位名称是一样的,所以在面试时问一句:最近三次争论是关于什么的。

这门生意到底怎么赚钱 —— 细到足以让你在某个数字与它不再自洽时察觉出来。工具每几年换一次,而每一种都能在几周内学会;而「看着一张看板说出『这不可能对』」的能力,才是区分留下来的人的东西。它恰好也是一个读你表结构的模型做不到的事。