自己搭建一套推理集群：从单机到多节点的可复现实践

API 网关、AI 网关、推理网关、推理引擎不是四个采购项，是一条链。四层里只有一层真正收敛了

两个工具、一根本机 socket、一段纯文本。它不搬历史也不搬授权，最容易踩的坑是「送到」不等于「读到」——开着 bypassPermissions 的那个会话默认把消息全扣住等你点

A2A 把 agent 发现压成了一次 GET。路径由 RFC 8615 的 well-known 前缀钉死，知道域名就够了，不用先问目录。但它只覆盖了一半

Anthropic 的发版间隔三年对折两次到 30.5 天。同期 Veracode 测了 150 多个模型，安全通过率从 55% 走到 55%。发得快和能力涨，是两条曲线

tom-autodev 已经有状态机、SQLite、审批和恢复能力。它还要不要迁到 LangGraph，答案取决于两者分别负责什么。

star 被 Agno 反超，下载量被 Pydantic AI 拉开 1.9 倍，1.0 发布在 HN 只拿到 1 分。但真正在切走它地盘的是上下两层，不是同层对手

AI 网关是个总称，底下至少有四类能力。真正有争议的只有一个问题：Agent 编排要不要放进网关

同一个未改动的模型，换 harness 分数从 13.3% 到 38.3%，输出 token 还降了六倍。这两个机制到底在补什么漏

离线 Batch API、连续批处理、网关侧请求合并，三者层次不同、换取的东西也不同

从 OpenAI、Anthropic 到 One API，入口、内部抽象和后端适配其实是三件事

从 Token 转发到企业治理，网关卖的是可计量的控制权

把交换芯片的线速、DPU 的大容量状态和软件的灵活性放进同一条分层数据路径

从摘要、检索、token 裁剪到服务端 compaction，算清它省下的钱和带来的新风险

LUI 负责表达意图，MCP 连接工具，A2A 组织协作，模型是否进入核心执行循环才是分界线

从 Round Robin、Least Load 到 CHWBL，算法开始同时计算负载与 KV Cache

从 DeepSeek 的 50 倍价差到生产环境 1.7 倍的首 token 改善，缓存降本的真实幅度由提示词结构决定

逐行核对开源 BFE 到 v1.8.4，三个 ai 模块、SSE 逐帧计量，以及一套被动触发的健康检查

prefix cache 命中属于请求与实例的配对属性，endpoint 权重机制在结构上装不下它，所以这类调度只能落成每请求同步问一次外部进程

主流开源与厂商的答案是把调度切成两层，全球层按容量选 region，机房内才按 KV cache 和队列深度选实例

免费额度聚合很诱人，真正值钱的是把切换成本压到一次路由决策

从端口探活走向模型可服务性判断，三层信号决定流量该不该继续送

从跨 Region 到跨 Pod：六类开源方案、三层路由和一套可落地的调度算法

三者都能统一模型调用，但分别把控制面、兼容性和数据路径放在了不同位置

7 月 31 日 LiteLLM 的一个 dev 版里，改的全是计量、限流并发、流式检查和工具身份边界——没有一条是关于支持更多模型的