新闻
Cascadeflow：别人在 HTTP 边界做网关，它钻进 Agent 循环里管成本
1 分钟阅读
来源：aixq.cc
AI 成本优化这个赛道，过去两年的标准答案是在 HTTP 边界上架一个网关。请求进来，路由器看看 prompt 长短，决定转发给哪个模型，转发完记一笔账。LiteLLM、OpenRouter、Portkey 都是这个思路。cascadeflow 的 README 第一段就把这个思路掀了，它说自己在 external proxies can’t 的地方工作，基于 Agent 的实时状态做每一步的模型决策。 表面上看又是一个模型路由器，但翻完文档我发现它其实在做另一件事：一个跑在 Agent 进程里的运行时