
Akka通过65个开源项目,深入测试基于规格的AI辅助软件移植工作流,全面评估了规格结构、上下文、模型及工作量选择等多维度内容。测试首轮耗时99.3小时,消耗94.1亿令牌,最终57个项目在代码量或性能上实现显著提升。实验采用分阶段模式,先分析全部项目并设定功能占比,再选取10个项目完成完整实现,涵盖需求发现、规格定义、移植、测试及优化等环节。其发现表明,结构化规格能优化首次实现效果,但上下文缺失跨组件决策内容;后续研究将涉及接口枚举、测试数据导入等方向。在模型选择上,Sonnet耗时较短,但Opus虽token消耗更低,整体效率增幅未达预期。该研究引发广泛讨论,工程师关注模型行为与规范遵循差异,以及代码量减少的成因与限制条件影响,提示需进一步探究移植效率差异的根源。
--91likeyou---
Akka 发现,包含声明、证据和类型化行为的结构化规格说明能够改善首次实现的效果,而上下文文件中缺少了跨组件决策的内容。后续研究领域包括接口枚举、测试数据导入、溯源追踪、差异测试和对抗性测试。GitHub Spec Kit 同样围绕规格说明、规划、任务、实现和收敛这几个环节,对编码代理的工作流进行了结构化设计。在 Akka 的实验中,Sonnet 平均每项移植耗时 61 分钟,而 Opus 则为 120 分钟;但 Opus 的 token 消耗量少了大约 40%。虽然提高工作量设置会增加消耗,却并不能获得持续的效率提升。
研究结果的发布引发了工程师们的一番讨论。在 LinkedIn 上,Aaditya 在 Akka 首席执行官 Tyler Jewell 的一篇博文下评论道:
规模较小的模型其行为与他观察到的现代化改造工作相符,即较小的模型会严格遵循规范,而较大的模型则可能会进行即兴调整。
Aaditya 还提出了一个问题:
代码行数的减少主要是源于死代码的移除,还是源于目标语言的差异?
在同一场讨论中,Avahi 市场部负责人 Rick Bryce 提到了一个相关的点,并指出限制条件可能会影响结果。这些评论引发了新的疑问:移植效率的差异究竟是源于模型能力、规格限制,还是两者兼而有之。
成本更低的模型能实现更精确的移植,这一发现值得深入探究。
验证工作采用了原始的单元测试和集成测试,并且同时由审核人员对序列化、安全性、错误处理、个人身份信息(PII)、幂等性以及架构边界进行了检查。随着移植故障暴露出的新问题,Akka 增加了防护措施,但同时也指出,额外的退出条件增加了移植成本。性能表现因项目而异:应用程序、框架和库的性能普遍得到提升,而基础设施和工具的性能中位数则有所下降。根据 Akka 的报告,Dify 的性能提升了 143333 倍,不过所对比的工作负载存在差异;而 Netflix Metaflow 的运行速度则慢了约 100 倍。
:
🔥 热词:#akka用的人多吗 · #AKKA技术北京有限公司 · #akka框架 · #akka入门与实践 · #akka实验室 · #akka公司怎么样 · #akka公司 · #akka java csdn