CodeScene发布的案例研究证实，编码智能体三周内重构30万行C代码，总token成本约4000美元，在726个文件中产生2903次提交，修改252055行代码，Code Health评分由此从5.6大幅提升至10.0。该成果源于《街头霸王III：三度冲击》开源反编译项目的实践。该方法通过质量信号、正确性保障及智能体构建内容等机制实现，构建了22个重构方案与82条辅助说明，且选用Claude Opus与Claude Code结合优化，在模式识别与记录方面表现优于Codex。但研究引发显著争议：相关解读存在高度分歧，部分研究者认为结果已通过高难度回放标准验证，而Omda Response等机构认为结果接近作弊；亦有专家质疑适用范围，强调对AI能力真正检验需以生产级代码场景验证，且当前结果仅为推算预估，30万行重构与4000美元成本才是实际测量值。此外，部分研究者指出方案分类逻辑及方法论不够严谨，未完全解答非功能影响等核心问题。
--91likeyou---
模型选择也很重要。团队最终决定使用 Claude Opus 完成大部分工作，并报告称，在识别和记录逐渐形成的模式方面，搭配 Opus 的 Claude Code 明显优于搭配 Sol 的 Codex。使用较小模型执行任务时，文件的评分经常停滞，看起来像是到达了一个无法进一步突破的局部最优点。
从业者在 LinkedIn 上的反应出现了明显分歧，争议并不在于这件事是否发生，而在于这一结果究竟证明了什么。
Paolo Perrone 说明了为什么应该认真看待这项成果：
我读过的大多数重构成果都建立在测试套件全部通过的基础上，但这只能说明测试没有失败。针对一款格斗游戏进行轨迹回放，设定了高得多的标准。
Omda Response 首席技术官 Mats Iremark 表示，自己也做过类似的事情，并称 CodeScene MCP 与当前智能体的组合几乎就像作弊一样。
质疑者主要关注适用范围。技术负责人兼顾问 Konrad Otrębski 询问这些更改是否已经合并，是通过一次巨大的合并还是多次合并完成，以及这是否只是在开源代码上进行的实验，而不是在真正创造收入的生产代码上进行的工作。NeoSee 首席技术官、参与这项工作的两名工程师之一 Daniel Webb 回应称，这些更改通过 54 个拉取请求合并到了一个分支版本的 main 分支中。
Otrębski 随后的回应提出了更高的标准：
我认为，对 AI 能力真正的检验，是把这种重构服务提供给某个知名开源项目，比如 Grafana。当然，完成的定义是将其合并到 master 分支。
软件架构师兼研究人员 Tracy Bannon 反对的是对成果的描述方式，而不是所采用的方法。她指出，把结果描述为完美是一个相当大胆的说法。
Denis Baltor 对智能体发现的方案本身提出了质疑。他认为，DRY 关注的是知识和意图的重复，而不是完全相同的代码行；如果方案把仅范围不同的循环或仅调用函数不同的控制结构视为重复，就可能混淆了这两者。
Asko Nõmm 提出了方法论问题。他认为，由于 Claude Code 和 Codex 分别针对自家模型进行了调优，因此难以判断结果在多大程度上衡量了模型，又在多大程度上衡量了测试框架，成本也会以同样的方式发生变化。他还指出，架构并未得到衡量，因此代码看起来可以很健康，而根本性问题可能会在日后才暴露出来。
一些尚未解答的问题来自作者自己。Marc Bouvier 询问非功能行为是否有所改善，因为帧率、内存使用量和输入延迟对游戏都很重要；Webb 表示，他们正在引入一位性能专家。有人问测试框架是否捕获了细微的帧时序回归，他回答说，可能没有明确答案，因为该框架作为提交前钩子运行，有些故障在被观察到之前就已经修复。对于差异规模，他也同样直接：如果你不熟悉代码，而且不再逐行审查，那么一次差异可以有多大？他没有给出结论，只提出了问题。
如果这些反应具有代表性，那么分歧并不在数字本身，而在于产生这些数字的条件。回放轨迹测试框架之所以有效，是因为反编译游戏可以提供确定性的逐帧回放。大多数遗留系统不存在与之相当的判定机制，而这也正是重构它们存在风险的原因。Tornhill 写道，自动化测试和等价性检查是绝对必要的保障措施，这恰好把负担落在了不健康代码库往往最缺少的东西上。
团队自己的选择过程也说明了这一点。Webb 表示，他们曾考虑使用一个他参与过的 Gov.UK 海事许可代码库，但它过于健康，不适合后续研究；团队选择这款游戏，部分原因是他们自己也玩这款游戏，因此也是它的用户。
这项研究是下一步工作。此次改进产生了同一系统的两个功能等价版本，一个 Code Health 评分为 5.6，另一个为 10.0。团队将与隆德大学合作开展一项研究，让学生使用前沿模型分别在两个版本中实现功能，并比较成本和质量。
另外两个引人注目的数字属于未来研究，而不是此次案例研究。CodeScene 预计，此次改进可以使 AI 引入的缺陷减少约 70%，并使 token 浪费减少约 45%，但这两个数字都是根据其早期研究推算得出的，并非在此次研究中实际测得。4000 美元的成本和三周的用时才是实际测量结果。
：
🔥 热词：#30 · #Code · #AI · #Health · #10 · #智能体三周重构 · #万行代码 · #升至