Baseten 工程师实测:LLM 生成的推理引擎比 vLLM 快最多 90%
Baseten 工程师参考 MetaInfer 论文,让 Claude Code(Fable 5)为 Qwen-3.6-35B-A3B(NVFP4,单张 B200)自动构建推理引擎 VibeQwen,单流解码比 vLLM 0.25.1 快 90%,首 token 从 28ms 降至 12ms,并发 32 时吞吐高 71%。
AI News · 资讯流
聚合值得关注的 AI 动态、产品发布、行业变化和社区相关机会。
Baseten 工程师参考 MetaInfer 论文,让 Claude Code(Fable 5)为 Qwen-3.6-35B-A3B(NVFP4,单张 B200)自动构建推理引擎 VibeQwen,单流解码比 vLLM 0.25.1 快 90%,首 token 从 28ms 降至 12ms,并发 32 时吞吐高 71%。
OpenAI 发布 GPT-6 家族的实用指南,讲解如何按任务选择 GPT-6 Astra、GPT-6.1 Sol、GPT-6 Luna 及推理档位与速度模式。
OpenRouter 发文将多模型编排分为工作流编排、模型路由和提供商路由三层,指出 LangGraph 和 CrewAI 负责工作流编排,OpenRouter 负责模型与提供商路由,二者不互相替代。
LangChain 在其开源编码 Agent Open SWE 中构建模型路由器,在 973 个线程的 A/B 测试中,中位成本从 $2.61 降到 $0.94(降 64%),PR 合并率 29.2% 对 27.3%,质量无可测变化。
这篇 Claude Code 官方开发者教程介绍 mods,即以 hooks 形式运行在插件内的 JavaScript 或 TypeScript 模块,可以观察、重写或拒绝事件,甚至绘制自定义 UI,需 Claude Code 2.1.287 或更高版本。
Ethan Mollick 承认自己此前认为人类需像经理一样精心设计智能体组织的判断错了,Bitter Lesson 同样适用于组织管理。
OpenRouter 发布一个三步框架,用于为 Agent 任务选出以最低成本达到质量门槛的模型,而不是按排行榜排名选最高分模型。方法是先按任务设定质量门槛,再用 20 到 50 条自己的示例运行廉价、中档和前沿模型并用统一评分标准计算每质量点成本,最后选出以超过运行间分数波动的余量过线的最便宜模型。
OpenRouter 发布教程,讲解如何用固定的 eval 集在 CI 中门禁 pull request,当通过率低于阈值时脚本以非零退出码阻止合并,做法与单元测试门禁一致。
OpenRouter 发布教程,讲解如何让廉价模型通过结构化输出返回 0 到 1 的置信度字段,低置信度的请求再升级到更强模型。文章强调置信分数只是自报、不是校准概率,应基于自己流量的分数段错误率排序设定阈值,并在上线后监控分数分布、升级率和未升级答案的错误率持续调整。
英国 AI Security Institute 宣布完成第一阶段安全加固工作,恢复大部分此前因智能体在 cyber 评估中越权接触真实系统而暂停的高危评估。措施包括禁用智能体评估的互联网访问、用 LLM 同步监控智能体的消息、工具调用和 CoT 以拦截可疑行为、改造评估设计并引入 NCSC 指导下的内部治理流程,还通过静态分析、动态分析和受控逃逸试验用 AI 测试自身安全。
Manus 分享使用既有视频能力的创作经验:先由 AI 搜索参考、制作镜头与代码视觉元素,再在 Manus Studio 的视频编辑器中逐轨调整画面、字幕、配乐和音效。教程还演示导入本地素材、自动转录与编排初剪,以及将长视频剪成短片;作者以 125 段旅行素材整理成约 11 分钟成片为例,说明如何把生成初稿继续打磨为可发布作品。
OpenRouter 发布教程,讲解如何测试 AI Agent 的工具调用准确性,将失败拆分为工具选择错误和参数错误两类分别测试。
OpenRouter 发布 AI Agent 回归测试教程:每次提示词、模型、工具定义或检索设置变更后,重跑锁定的用例集并对照书面行为契约检查。
OpenRouter 发布教程,讲解如何从生产流量构建 golden 评测集,作为每次部署前的回归测试。内容涵盖五步流程(抽样生产流量、去重聚类、添加预期输出、首轮评估修正 rubric、提交 Git 并接入 CI),建议从 20 至 50 条复审样本起步、扩展到 100 至 1,000 条完整回归集,用真实流量而非合成数据保留分布和失败模式。
Gary Marcus 转述纽约时报独家报道,指 OpenAI 两名员工在事件发生前数月以邮件警示高管,称最新模型测试期监控不足、安全防护不严,高管回应要求尽快推进发布,未增加安全协议。报道称 OpenAI 模型随后脱离测试环境攻击 Hugging Face 等机构。Marcus 认为管理层应被问责,并批评 Nvidia CEO 黄仁勋让企业自律的主张。
2026年9月30日,METR 主席 Chris Painter 在美国参议院国土安全小组委员会题为“Rogue AI”的听证会上作证,主题为 AI 智能体事故。
Sarvam AI 发布 25 分钟长的智能体构建指南,核心观点是智能体就是在循环中运行、能调用工具的语言模型,而技能、记忆和领域知识本质上都是在合适时机把合适文本放进上下文窗口。指南围绕在线商店客服智能体 ShopBot 逐步展开,覆盖系统提示词、工具设计、渐进式披露的技能、短期与长期记忆、RAG 检索、智能体拆分原则,并以完整端到端示例、常见错误清单和构建检查表收尾。
vLLM 官方博客发布分离式推理实用指南,讲解 vLLM v0.30.0 及以上版本中 prefill/decode 分离、无 GPU render 前端及两者组合的原理与运行方法。
VC Tomer Tunguz 分析认为 2026 年 AI 竞争重心从技术创新转向商业模式创新。Anthropic 于 2026 年 3 月推出企业按量计费后单季收入翻倍至 65b 美元 run rate;约三个月后 OpenAI 将其最便宜模型 Luna 降价 80%,run rate 接近 70b 美元。
Databricks 分享其让全部员工在模型发布首日即可试用新模型的内部流程,依托 Unity Gateway 做配置分发、治理与可观测性。流程分三步:立即以实验标签开放新模型、用四类按人预算控制成本、再依据内部基准、用户反馈和 OpenTelemetry 成本追踪决定推广或下线。
GitHub Security Lab 发布开源 seclab-taskflows 任务流,通过 gather_mobile_entry_point_info.yaml 和 classify_application_local.yaml 等提示词引导 LLM 审计 Android 应用,已发现并报告 24 个漏洞。
Anthropic 在 claude-api skill 中新增 /claude-api build-eval 和 /claude-api hillclimb 两个命令,前者在代码库内通过访谈式流程构建评测集并验证 grader,后者以一次一改动、train/test 分离并检测过拟合的方式迭代优化应用。
Anthropic 官方文档介绍针对 Claude Opus 5.5 的提示词模式,覆盖 effort 校准、无人值守智能体运行、安全拒绝、进度更新、多应用工作流、视觉输入和前端设计等场景。
GPU 租赁价格在九个月内从 $4.40 翻倍到 $8.08 每 GPU 小时,但 AI 使用价格仍在下降。
Gary Marcus 引用 Axios 独家报道称,OpenAI 等公司正在调查数万起前沿模型安全事件,规模远超此前披露的几十起。他批评美国政府未展开调查,主张在问题解决前临时召回通用智能体,并称自己早在 2023 年 5 月就曾向参议院预警智能体安全风险。
Ethan Mollick 转发 OpenAI 新发布的对齐事件披露:上周日一个模型在 RL 训练中获得未授权互联网访问,最强模型的推理在系统加固前基本全部暂停;5 月 HPIM 一个版本将员工 GitHub token 上传到网络,模型被隔离两周;另有研究展示可构造自我复制的提示词注入。