type
Post
status
Published
date
Nov 20, 2026
slug
openai-performance-factory-codex-chatgpt
summary
OpenAI 公开内部 Performance Factory 系统三个月实战数据:Codex 完成 1,700+ 次性能回归调查、定位 600+ 例根因,但最终直接合入的纯 Codex PR 仅约 15 个。
tags
AI
category
技术分享
icon
password
Tweet Link
Staus
类型
平台
三个多月时间,跑了超过 1700 次自动化性能调查,平均每天 17 次,最后真正原封不动合并上线的 AI 代码修复,只有大约 15 个。
这不是某个小团队的玩具实验,这是 OpenAI 官方在 11 月 19 日公开的内部工程数据。他们给这套基于 Codex 的内部系统起了一个很工业化的名字,叫 Performance Factory,专门用来帮 ChatGPT 抓性能回归问题。
很多开发团队都在幻想一件事:线上服务变慢了,AI 自己看日志、自己找原因、自己提 PR 修好,工程师睡一觉起来系统已经恢复正常。OpenAI 这次把真实漏斗摊在了桌面上,数据比口号诚实得多。
告警一响,云端拉起一条四步流水线
告警一响,云端拉起一条四步流水线

告警一响,云端拉起一条四步流水线

ChatGPT 这种体量的在线服务,每天都有大量代码上线。某次改动一不小心拖慢了接口响应,以前需要工程师去翻日志、看监控指标、顺着分布式链路追踪一行行排查,非常消耗精力。
Performance Factory 做的第一件事,就是把这套排障动作接管过去。OpenAI 在博客里重点拆解了其中已经跑通的 Regression Workflow,也就是性能回归工作流,整个过程分四步走。
第一步是告警触发调查。只要性能告警一响,云端就会自动拉起一个 Codex 任务。这个任务不是干巴巴地去读代码仓库,它接进了 OpenAI 内部的遥测工具,可以直接查线上日志、监控指标和链路追踪数据,像一个经验丰富的 SRE 一样顺藤摸瓜找根因。
第二步很有意思,叫对抗式复核。写过 Agent 的人都知道,大模型查问题特别容易犯确认偏误,抓到一个可疑线索就开始自圆其说,甚至产生幻觉。为了按住这个毛病,OpenAI 专门安排了另一个独立的 Codex 会话,用全新的上下文去挑刺,专门核对前面那位兄弟交上来的诊断证据和遥测数据靠不靠谱。
第三步才是提修复方案和人工把关。哪怕过了对抗复核,Agent 生成的 PR 也绝对不能自己合并,必须交给人类软件工程师审核上下文、指标和代码改动,拍板通过后才能上线。
第四步是上线后回验。代码发布之后,还会再派一个 Agent 去盯线上遥测数据,确认性能指标真的回到了基线水平,整个工单才算闭环。
为什么 600 多个根因,只变成 15 个直接 PR
为什么 600 多个根因,只变成 15 个直接 PR

为什么 600 多个根因,只变成 15 个直接 PR

把这三个多月的漏斗数字连起来看,你会发现一个非常陡峭的落差。
1700 多次自动调查里,Codex 成功定位到根因的有 600 多例。OpenAI 自己做过人工抽样评估,根因判断的准确率大约在 70% 左右。到了修复阶段,大约有 400 例推进成了具体的代码修改方案。最后真正落地到生产环境的,有大约 50 个上线修复采纳或参考了 Agent 的建议,而完全由 Codex 自己写出、人类几乎没改就直接合并的 PR,只有约 15 个。
从 1700 多次调查到 15 个直接 PR,转化率不到百分之一。
原因其实很真实。OpenAI 自己在复盘里也点透了,定位到「哪里慢了」和「怎么安全地把它修快」,完全是两回事。如果问题很局部、很孤立,比如某个地方出现了重复序列化,Codex 顺手加个缓存或者复用对象就能搞定,表现非常稳。
但只要牵扯到复杂的系统架构权衡,Agent 就容易掉链子。比如为了降延迟,它可能会建议在某个环节加一层缓存,却忽略了缓存带来的脏数据、数据过期和一致性风险;或者面对一个新功能本身就会带来的固有延迟,它给不出结构性的取舍方案,反而写出过度复杂的补丁。
再加上那道对抗式复核的关卡,目前大约有 25% 的初始诊断会被直接打回重查。自动化生成补丁虽然省了人力,但也制造了新的验证成本,最后人类工程师审 PR 的注意力依然是整条流水线上最稀缺的瓶颈。

对一线研发团队的启发

看完 OpenAI 这份成绩单,如果你正在评估要不要把 AI Agent 放进自家的运维和研发流里,心态可以务实很多。
别急着去追求什么「无人值守全自动自愈」。哪怕是 OpenAI 自己用自家的 Codex 跑自己的核心产品,也把人类工程师的最终审核卡得死死的。在生产环境里,写错一行性能优化代码引发的故障,往往比接口慢几百毫秒更致命。
真正立刻能产生高回报的用法,是把 AI 当成一个不知疲倦的初级排障员。每天 17 次自动调查,哪怕最后只有三成多能准确定位根因,也已经帮一线工程师挡掉了大量翻日志、查监控的枯燥体力活。工程师不需要从零开始大海捞针,只需要站在 AI 整理好的遥测证据和初步方案上做判断。
至于那 25% 被对抗 Agent 打回的诊断,也给所有做 Agent 工程的人提了个醒:让同一个模型既当运动员又当裁判员很难靠谱,用独立上下文做交叉质检,正在变成生产级工作流的标配。
AI 确实把发现和定位问题的成本打下来了,但只要最终上线的责任还在人身上,工程师的判断力和架构取舍就还远没到退场的时候。你所在的团队现在敢让 AI 自动查线上告警吗?还是已经开始试着让它提修复 PR 了?
Word接入ChatGPT,写个周报、作文一键搞定-Windows版本不换大模型、关掉深度思考:Hugging Face 用一个 LoRA 把 27B 编程能力拉到 64.7%
Loading...