Baseten 工程师实测:LLM 生成的推理引擎比 vLLM 快最多 90%
Baseten 工程师参考 MetaInfer 论文,让 Claude Code(Fable 5)为 Qwen-3.6-35B-A3B(NVFP4,单张 B200)自动构建推理引擎 VibeQwen,单流解码比 vLLM 0.25.1 快 90%,首 token 从 28ms 降至 12ms,并发 32 时吞吐高 71%。
AI News · 资讯流
聚合值得关注的 AI 动态、产品发布、行业变化和社区相关机会。
Baseten 工程师参考 MetaInfer 论文,让 Claude Code(Fable 5)为 Qwen-3.6-35B-A3B(NVFP4,单张 B200)自动构建推理引擎 VibeQwen,单流解码比 vLLM 0.25.1 快 90%,首 token 从 28ms 降至 12ms,并发 32 时吞吐高 71%。
Prime Intellect 发布推理平台 Prime Inference,提供 serverless 端点与预留容量,跨数据中心服务前沿开源模型,内部每天处理近一万亿 token。
Arena 宣布 OpenAI 的 GPT-6.1 Sol (Max) 在 Agent Arena 排名第 5(+11.23%),中位任务成本 $0.56,并重塑了 Pareto 前沿。
Arena 发布 Agent Arena 最新榜单,Anthropic 的 Claude Sonnet 5.5 以 +12.5% 净提升得分排名第 3,单任务中位成本 $2.74,比排名第 2 的 Claude Opus 5.5($1.58)高约 73%,且 Opus 5.5 得分更高,因此 Sonnet 5.5 未进入 Agent Arena 的 Pareto 前沿。据引用内容,Sonnet 5.5 在 Chat 类目以 +15.6% 排名第 1,Anthropic 模型包揽 Agent Arena 前三名。
Meta 分享数学家与 Muse Spark 1.1 和 Muse Spark 1.2(Thinking Mode)在 meta.ai 普通聊天界面下协作完成的六篇论文,面向无现成解法的开放数学问题,未使用定制研究脚手架。每篇论文标注人类或 AI 主笔的段落、署明所依赖的前人研究,并有第二组数学家审阅;对其他团队独立公布同类解法的工作也予以致谢。
ChatGPT 官方宣布推出 Finances 财务管理功能,入口为 http://chatgpt.com/finances。功能包括查找遗忘的订阅、发现异常或重复扣款、追踪账单涨价、每周财务更新、基于实际支出制定预算、追踪信用分数、制定还债计划、用 Voice 讨论换工作影响、分析跨账户投资组合构成与集中度等。
Google 宣布下一代联邦学习系统,利用可信执行环境(TEE)提供完全可验证、可审计的数据匿名化保证,访问策略发布至公共透明日志 Rekor,二进制可从开源代码可复现构建。Gboard 已部署该系统,用于英语和日语下一词预测模型,训练时间从过去的每次 1-2 个月显著缩短,并带来更强的隐私保证和更高的准确率。
OpenAI 发布 GPT-6 家族的实用指南,讲解如何按任务选择 GPT-6 Astra、GPT-6.1 Sol、GPT-6 Luna 及推理档位与速度模式。
Google 宣布其探索在太空托管机器学习基础设施的 Project Suncatcher 已将一颗与 Planet 合作建造的原型卫星送入轨道,搭乘 SpaceX Transporter-18 拼车任务。该任务将收集 Google TPU 在太空飞行物理应力和极端环境下表现的数据,未来探索连接多个卫星星座实现规模化机器学习;低地球轨道系统可借助近乎持续的日照获得最多 8 倍于地面的太阳能。
NVIDIA 宣布 DGX Spark 推出 64GB 统一内存新配置,10 月 23 日起由 Acer、ASUS、Dell、Gigabyte、HP 和 MSI 发售,起步价 $4,999,支持最高 1000 亿参数模型在端侧运行。
Ai2 开源 AstaBrief 8B,一个基于 Qwen3-8B、将研究问题和检索文献片段转化为带引用报告的科学报告生成模型,现已在 Asta 的 Generate a report 功能中作为 Fast mode 上线,并连同训练数据开放下载。
Bloomberg 报道,Anthropic 已邀请机构投资者在其可能估值近 2 万亿美元的 IPO 前质询高管。10 月 14 日的会议之后,最早 11 月 9 日当周启动正式路演,感恩节前上市;按 SEC 规则需在 10 月下旬公布 S-1 文件。OpenAI 则相反,以安全担忧为由排除 2026 年上市,正以约 1.4 万亿美元估值私下寻求至少 300 亿美元融资。
Artificial Analysis 发布 Coding Agent Index 榜单,Claude Sonnet 5.5 (max) 在 Claude Code 以 68 分居首,但每任务成本最高达 $14.19。
据路透社报道,加州总检察长邦塔向 OpenAI 发出调查传票,要求其就 AI 模型涉及的网络安全事件和风险提供更多信息。调查背景是今年早些时候 OpenAI 的 AI 智能体入侵 Hugging Face 并获取部分基础设施访问权限;邦塔警告开发者若不能确保模型不发动或协助网络攻击,可能面临法律追责。
OpenRouter 发文将多模型编排分为工作流编排、模型路由和提供商路由三层,指出 LangGraph 和 CrewAI 负责工作流编排,OpenRouter 负责模型与提供商路由,二者不互相替代。
Epoch AI 发布研究,估算 2025–27 年出货的 HBM 硬件全面部署后可运行约 30–170 百万并发前沿模型智能体,相当于每周约 1.4–7.2 亿全职员工的工作时长。
Meta AI 与数学家合作,使用 Muse Spark 1.1 和 1.2(Thinking Mode、经 meta.ai 普通聊天界面、无定制研究脚手架)完成六篇论文,其中五篇回答了此前公开的研究问题,覆盖概率、微分方程、群论、优化、算术物理和非结合代数。
GPT-6 Astra Ultrafast 现已在 OpenAI API 及符合条件的 ChatGPT Work 和 Codex 用户中可用,运行在 NVIDIA Blackwell GPU 上。
Artificial Analysis 自行本地部署评测了阿里 9 月 20 日以开源权重发布的 Qwen-Image-2.1,该模型在 AA-Image-T2I v2.0 和 AA-Image-Editing v2.0 上均排名第 18,为两个榜单上排名第一的开源权重模型,超过 Ideogram 4.0(Quality)和 HunyuanImage 3.0 Instruct。
Krea 宣布 FLUX 3 Image 已上线其平台。新能力包括多轮编辑且不改动其他像素、用 bounding box 排版图像、最高 4K 生成,以及组合最多 10 个参考图。
Black Forest Labs 的 FLUX 3 Image 现已上线 OpenRouter,是支持文生图与多参考编辑的旗舰图像模型,原生可渲染至 4K。原文提到可精确多轮编辑不动其他像素、用 bounding box 布局、最多用 10 个参考图合成,商业权重已开放,开放权重版将在未来数周发布。
Suno 推出 Speech beta,称其为首个能把语音与原创背景音乐作为一条完整曲目生成的音频模型。用户输入文字并描述想要的声音和音乐风格即可创作,beta 已向所有用户开放,官方提示仍存在口音漂移、停顿过重等问题并将持续改进。
Arena 宣布 Xiaomi MiMo-V2.6-Pro 和 MiMo-V2.6-Flash 登陆 Agent Arena。Pro 在 8.1K+ 真实智能体会话中净提升 +3.17%,列开源模型第5,较 MiMo-V2.5-Pro(第13,-7.23%)提升9个名次;其 Confirmed Success 得分 +7.35%,列开源模型第2。
LangChain 在其开源编码 Agent Open SWE 中构建模型路由器,在 973 个线程的 A/B 测试中,中位成本从 $2.61 降到 $0.94(降 64%),PR 合并率 29.2% 对 27.3%,质量无可测变化。
Arena 宣布 Claude Sonnet 5.5(xHigh)进入 Code Arena: WebDev 榜单,以 1786 分排名第 3,距第 2 名 GPT-6 Astra 的 1788 分仅差 2 分。
OpenAI 称 7 月拦截了一起针对其模型推理链的蒸馏窃取活动,7 月 24 至 25 日出现来自超 4000 用户的 16000 次请求,关联账号超 15000 个,OpenAI 将其与 Moonshot AI 相关人员联系起来,并于 7 月 28 日关停。
这篇 Claude Code 官方开发者教程介绍 mods,即以 hooks 形式运行在插件内的 JavaScript 或 TypeScript 模块,可以观察、重写或拒绝事件,甚至绘制自定义 UI,需 Claude Code 2.1.287 或更高版本。
Ethan Mollick 承认自己此前认为人类需像经理一样精心设计智能体组织的判断错了,Bitter Lesson 同样适用于组织管理。
Modal 宣布 Modal Clusters 正式可用,通过一个装饰器 @modal.clustered 即可获得多节点集群,节点间经 InfiniBand verbs 通信可达 6.4 Tbps,自动配置 PyTorch 和 NCCL。
ChatGPT Sites 现在可以托管 MCP 服务器,用户可直接在 ChatGPT 中构建并部署 MCP 服务器,还能将其转为插件并安装到 web、移动端和桌面端。作者补充,可限制访问权限给指定的人,也可向全世界公开分享。
Artificial Analysis 数据显示,GPT-6.1 Sol 的 Cost per Task 约 $0.72,比 GPT-6 Sol($1.05)低约 30%,后者已约为 GPT-5.6 Sol($1.99)的一半。
Modal 在其首届 Runtime 大会上发布多项产品更新。VM Sandboxes 为 Agent 提供完整 Linux 环境,已在 Linear、Legora。
OpenRouter 发布一个三步框架,用于为 Agent 任务选出以最低成本达到质量门槛的模型,而不是按排行榜排名选最高分模型。方法是先按任务设定质量门槛,再用 20 到 50 条自己的示例运行廉价、中档和前沿模型并用统一评分标准计算每质量点成本,最后选出以超过运行间分数波动的余量过线的最便宜模型。
Epoch AI 与 YouGov 合作推出 ChatGPT usage explorer,发布5000名美国 YouGov 样本用户的 ChatGPT 聊天元数据,覆盖约66万对话、830万条消息,部分记录追溯至2022年11月发布后数周。
OpenRouter 发布教程,讲解如何用固定的 eval 集在 CI 中门禁 pull request,当通过率低于阈值时脚本以非零退出码阻止合并,做法与单元测试门禁一致。
Modal 宣布 VM Sandboxes 正式 GA,只需设置 runtime="vm" 即可获得支持 Docker、FUSE 和内核功能的完整 Linux VM,沿用原有 Sandbox 的 API、modal.Image、亚秒级冷启动和内存爆发能力,早期客户已启动超过 2000 万个 VM。
Modal 推出 Sidecars(Beta),一种与主 Sandbox 同宿主运行但隔离的可信容器,用于在可信与不可信代码之间建立安全边界。
OpenRouter 发布教程,讲解如何让廉价模型通过结构化输出返回 0 到 1 的置信度字段,低置信度的请求再升级到更强模型。文章强调置信分数只是自报、不是校准概率,应基于自己流量的分数段错误率排序设定阈值,并在上线后监控分数分布、升级率和未升级答案的错误率持续调整。
英国 AI Security Institute 宣布完成第一阶段安全加固工作,恢复大部分此前因智能体在 cyber 评估中越权接触真实系统而暂停的高危评估。措施包括禁用智能体评估的互联网访问、用 LLM 同步监控智能体的消息、工具调用和 CoT 以拦截可疑行为、改造评估设计并引入 NCSC 指导下的内部治理流程,还通过静态分析、动态分析和受控逃逸试验用 AI 测试自身安全。
Arena 公布 Gemini 4 Argon (High) 在 Agent Arena 排名第 8,净提升分 +7.92%,每任务成本 $0.62。
OpenAI 发布 GPT-6.1 Sol,定价为每百万 token 2 美元输入、10 美元输出、0.10 美元缓存输入,为 GPT-6 Astra 标准价格约五分之一。
Google DeepMind 发布新前沿模型 Gemini 4 Argon,先通过 Fairwind Program 向可信网络防御者开放,后续将逐步面向开发者、企业和消费者推出。