
TypeSafe AI作为由Diogo Almeida创立的旧金山AI实验室,于近期正式推出其System One Models的首款产品Jev。该模型核心特性在于返回类型化概率而非文本,调用方仅需提供状态信息与类型定义的问题,即可获取Choice、Score、Noul等结构化决策答案及概率分布与置信度。在技术性能上,Jev单次并行处理即可完成多类型数据的评估,端到端延迟覆盖70至500毫秒;输入成本为每百万Token 0.042美元,输出免费,上下文窗口达32000个Token,且采用校准决策强化学习方法训练。应用落地方面,Vercel与Netlify相继跟进,Jev已覆盖近13%的付费团队,其效率数据为GPT-5.6系列两倍;LangChain推出TypeSafeClassifier集成支持模型路由与AutoMode中间件,多个语言客户端快速涌现,安全分类器运行速度较替代大语言模型提升5至18倍。此外,行业分析显示,用户感知到的处理效率、成本及延迟均有显著提升,但同时需关注模型在分布外场景下的表现差异,以及结构化输出对幻觉约束的必要性,建议通过固定具体版本及专项适配器规范运行环境,以规避模型的不稳定特性。
--91likeyou---
Vercel 的工程师 Pranit Sharma 发现,安全分类器的运行速度比它所替代的大语言模型(LLM)快了5到18倍。Bryo AI 的 CTO Nikhil Mudholkar 认为,Gemini在邮件分类上的准确率略高,但成本却高出了 10 到 20 倍,他看重 Jev 是因为它是唯一能返回真实概率的模型。Earendil 的 CTO Armin Ronacher 在接受TechCrunch采访时表示,这种设计“在一定程度上将幻觉问题交给了用户”,因为用户必须自行决定 50%的概率是否值得采取行动,他还指出模型路由是另一个非常适合的应用场景。OpenChamber对 12759 条发布推文进行的分析显示,用户报告的速度提升中位数为 7 倍(远低于官方宣称的 193.6 倍),成本节省的中位数为 30 倍,延迟中位数为 76 毫秒,上四分位数为 270 毫秒。
Reddit上的一位开发者称该模型在 200 毫秒到 300 毫秒延迟下处理智能体任务的表现“绝对疯狂”,而 Hacker News 上的一位早期体验用户称其“非常巧妙”,同时提醒其分布外行为(out of distribution)的表现会与大语言模型有所不同。
在Hacker News上,一位开发者指出,Jev 虽然不会输出无效的类型,但仍然可能输出完全错误的合法值:
首先,祝贺团队发布了真正有趣且新颖的东西。不过,似乎更准确的标题应该是“Jev:用通用生成能力换取快速的类型化推理”。
这确实很有意思,但速度对比似乎有些误导性?能够输出图灵完备语言代码的生成式模型,理论上可以完成计算机能做的任何事情。
Jev 只能生成结构化输出,对吧?这对于分类、路由、评分可能非常有用,但它与我们今天用于代码和自动化的代码生成模型完全不同。
另外,“不会产生幻觉”的说法似乎不准确?确实,它不会输出无效的类型,但仍然可能输出完全错误的合法值。你完全可以通过适当的约束机制等,强制大语言模型输出结构化内容。
准备替换 LLM 分类器的团队应从jev-1.13版本的“已知不稳定特性(jaggedness)”页面入手,该页面记录了其在计数、算术和日期比较方面的不可靠性,以及在处理包含大量噪声的长状态信息时准确率的下降问题,并建议将数学计算保留在代码中完成。在版本管理上,请固定使用如 jev-1.13.0 这样的具体版本,而不是使用不断更新的jev-latest和jev-preview别名,在进行基准测试时,请使用System One adapter适配器让现有模型针对相同的 Schema 运行。快速入门指南涵盖了 API 密钥、SDK 和 Playground 的使用说明。
TypeSafe AI 是一家位于旧金山的 AI 实验室,由 Diogo Almeida、Erik Gafni 和 Sasha Sheng 共同创立。Almeida 是 RLHF 的联合发明人,并参与了 ChatGPT 背后的研究工作。
查看英文原文:TypeSafe AI Releases Jev: A Decision-Only Model That Returns Typed Probabilities Instead of Text
🔥 热词:#typesafe发布systemone模型jev · #TypeSafe AI Jev产品 · #typesafe ai jev · #typesafe和jev · #TypeSafe AI 官网 · #TypeSafe AI Console · #TypeSafe AI 控制台 · #TypeSafeai和typesafe啥关系