小讯AIGC

编辑｜吴昕

中国版 OpenRouter + Artificial Analysis，让每一枚 Token 都能流向它最该去的地方。

大模型 API 服务的「黑盒」焦虑

这两天，Clawbot 病毒式裂变，仿佛是一年前 Manus 的魅影重现。

同样一夜之间站上风口，同样点燃了无数开发者对「泼天富贵」的想象，也顺手把 Token 烧成了新的「硬通货」。

最近一组数据，让人更有体感。

中国大模型数量已超过 1500 个，下游开发者已经开始「疯狂盖房子」。数据显示，2024 年初，中国日均 Token 消耗量约为 1000 亿；到 2025 年 6 月，这一数字已突破 30 万亿。一年半时间，增长超过 300 倍。

与三年前的 Chatbot 不同，「能干活」的 Agent 正以前所未有的强度，第一次把 API 调用推入「生产级」——

一次看似简单的操作，背后往往是十几次、甚至几十次模型调用在同时发生。任何一次服务「抽风」，都会在 Agent 链路中引发一场多米诺骨牌式崩溃。

问题在于，中国大模型 API 服务现状，远比 benchmark 复杂得多。

更像是开盲盒，有人调侃说，以为自己在用「DeepSeek V3.2」，实际可能是蒸馏/量化版本。有人花了两周时间反复测试，上线后仍遭遇性能回退。还有团队发现，模型会在某些凌晨时段准时「抽风」，延迟从 300ms 飙升至 2000ms 以上，客服秒变「智障」。

这些并非个案，而是高度碎片化的大模型API服务的「缩影」。

大模型 API 服务的「黑盒」，不只是模型不可解释，而是用户根本不知道，服务背后跑的是什么模型、什么配置、什么质量。清华系 AI Infra 创企清程极智联合创始人兼产品副总裁师天麾告诉机器之心。

中国大模型和大模型 API 服务商本来就多。多算力、多架构、多网络并存，同一个模型，在不同服务商、不同部署方式下，往往呈现出显著差异。

比如，同样调用 DeepSeek-V3 / R1，头部服务商可以维持毫秒级响应；而部分接入低质量算力或优化不足的服务商，其 TTFT（首 Token 时延）可能慢上 2～3 倍。

与此同时，免费 Token、补贴、打包套餐的价格战，让「性价比」变得更加扑朔迷离。

经济学家罗纳德·科斯曾指出，企业与制度的出现，本质上是为了替代高成本的市场交易。当模型服务因高度不透明与供给碎片化不断抬升交易成本时，市场往往会内生出新的中介形态与制度安排，用以收敛不确定性，降低决策与交易成本。

正是在这样的背景下，1 月 29 日，清程极智正式发布 AI Ping。这款被业内视为「中国版 OpenRouter + Artificial Analysis」产品，旨在重塑大模型 API 服务秩序，将上游服务的碎片化与「黑盒」，转化为下游用户手中稳定、可预期的生产力。

1 月 29 日，清程极智举行发布会，正式官宣 AI Ping。

中国版 OpenRouter + Artificial Analysis：

AI Ping 怎么玩儿？

简单来说，AI Ping 是一个通过评测与路由两大机制，来消除大模型 API 服务不确定性的基础设施型产品。

如果说OpenRouter 解决的是「统一接入不同模型和服务」，Artificial Analysis 解决的是「评测模型服务质量」，那么 AI Ping 试图把这两件事合成一件事

通过评测告诉你模型服务的质量数据，更基于实时评测结果，「接管」模型与服务商的选择决策。

换句话说，有了这颗动态的「调度大脑」，你只管提需求，不用理解模型，不用挑供应商，更不用为故障兜底。

我们简单体验了一把「自动驾驶」，在网页「多模型对话」中，让系统完成一个音乐播放器的设计。

模型路由，选择的是「均衡模式」，在效果、速度与成本之间寻找综合最优解，而不是只追求单一极端指标（比如最低延迟）。

很快，系统判断 DeepSeek-V3.2 最适合当前任务，并将请求路由到当时服务能力最优的火山引擎节点。

结果，响应速度快，输出效果也很不错。

成本仅消耗 0.04 个算力点（约 4 分钱）。

大规模实验数据显示，无论用户选择哪种路由策略，AI Ping 都能把调用推向「能力—成本」的最优区域。

比如，即使选择「效果优先」，系统也会在保证模型能力处于高水平的同时，避免把成本推向极端，而是在质量与价格之间自动找到一个更均衡的位置。

通过模型路由策略，AI Ping 能在「能力—成本」二维空间里，逼近不同目标下的最优解。

长期以来，中国大模型 API 服务市场缺乏一份公允、可对比的「体检报告」。不同服务商各自披露性能指标，但测试条件、指标口径与展示方式并不统一，开发者很难判断，AI Ping 试图填补这一空白。

目前，该平台已接入 30 家主流服务商，覆盖 555 个模型接口，是国内极少数能够在统一标准下，对大模型服务进行持续评测与公开展示的平台之一。

在 AI Ping 的网站首页，不同服务商被放入同一张性能坐标图中进行对比。以吞吐率与延迟为坐标轴，同一个模型在不同服务商处的实际服务能力差异，一目了然。

用户提需求，自动生成服务路由策略的代码。

点开服务商，可以看到同一模型（ DeepSeek-V3.2 ）在不同服务商处的服务波动情况。

Top5服务商最近几天服务延迟的「心电图」。

这些对外展示的数据，强调公平性与可比性，按固定周期更新，犹如一份面向行业的「排行榜」和「体检报告」。对开发者而言，选型不再听厂商「吹牛」；对服务商而言，服务能力第一次被放在同一把尺子下比较。

对标 Artificial Analysis：

7×24h 数据「开盒」大模型API

从我们的体验来看，使用 AI Ping 和直接调用某个大模型几乎没有区别，只是完成了一次再普通不过的请求。

但在系统内部，这次调用已经悄然完成了一次跨模型、跨服务商的最优路径选择。

这种「选路」的能力，源于清程极智构建的技术三角闭环：全维度评测体系、服务商级智能调度、以及多模型智能路由。

这一切的基石，是套对标 Artificial Analysis 的实时评测系统。要像成为公认的「裁判员」，前提是评测体系本身具备足够的公平性与一致性。

在指标设计上，紧紧围绕用户真正关心的体验维度展开，包括 TTFT（首 Token 延迟）、TPS（吞吐率）、成本、精度等核心性能与经济指标。

不同应用场景，对指标的敏感点完全不同。师天麾解释说，在普通聊天场景中，用户最在意的是「多久开始回复」。只要能在几百毫秒内出首字、输出速度达到可阅读水平，体验就已经趋于饱和。

而在 Agent 场景中，一个任务往往由多步调用组成，真正决定效率的，不再是单次延迟，而是整个流程的吞吐能力与端到端完成时间。

为了「开盒」国产模型服务的真实水位，AI Ping 沉淀了一套极具技术含量的评测方法。

例如，所有测试使用同一套「考卷」，并在同一时间段进行；测试请求从北、上、深、蓉等多地服务器同时发出，彻底消除网络波动对单一节点的干扰。

专门针对「服务商缓存」设计特殊策略，确保测出的是真实的算力响应，而非「复用答案」的表象。

始终以普通用户身份，匿名走真实调用流程，评测结果还会进行交叉验证，也获得了数十家主流服务商的认可。

最极致的一点，在于7×24 小时持续观测

模型本身只是个文件，能力基本是固定的；但模型一旦变成大模型 API 服务，情况就完全不同了。师天麾说。

中国大模型 API 服务，白天和晚上不一样，北京和成都的节点不一样，甚至同一家服务商，隔了几个小时负载也会剧烈波动。如果拿几分钟前的评测数据做路由决策，无异于刻舟求剑。

这种对指标的极致苛求，源于团队的硬核底蕴。AI Ping 背后的清程极智团队源自清华，长期深耕超算与 AI 性能评测领域。他们不仅参与过 AIperf 等行业评测工具的研发，更承担过国家级超算集群的性能验收——这种「国家队」级别的评测经验，被降维应用到了大模型 API 服务，最终转化为 AI Ping 难以被复制的壁垒。

对标 OpenRouter：

用「自动驾驶」接管 Token 调度权

我们的目标不是把数据摆给用户看，而是要替用户做决定。师天麾强调。

如果说 OpenRouter 的功劳是实现了 API 的「大统一」，那么 AI Ping 则更进一步，通过一套 L4 级智能路由系统，实现了模型调度的「自动驾驶」。这套系统由「双引擎」驱动：模型路由（解决「谁来做」）服务商路由（解决「在哪里做」）

在 AI Ping 的逻辑里，模型不是「越大越好」，而应该是「分工明确」，有的擅长写代码，有的擅长写作。

现实中的任务也是分层的：写代码需要逻辑严密，日常闲聊只需快速响应。「如果所有请求都交给旗舰模型，只会变得又贵又慢。」

AI Ping 的路由模型会通过机器学习，实时对用户请求进行「画像」，并在多种模型之间动态选择当前性价比最优的组合。

在大规模测试中，这种「按问题匹配模型」的策略带来了两个结果：整体正确率超过单一旗舰模型的最高得分，而调用成本下降超过 50%。

这一结果也与外部研究结论，不谋而合。

近期一项来自MIT 与佐治亚理工的研究发现，开源模型已经可以用大约 13% 的成本，达到接近 90% 的闭源模型性能。

但在实际市场中，这类高性价比模型的使用比例仍不足 20%，主要受限于认知惯性与切换成本。

两种不同情况下的模型路由。

解决了模型选型，下一步是决定请求落到哪家服务商。

与传统的「失败后再重试」不同，AI Ping 的服务商路由具备预判能力。每一次请求返回的结果，都是一个天然的测量样本。这些数据会被持续汇总进内部评测池，用来刻画服务商「此时此刻」的真实服务水平。

一旦发现某条请求的响应时间明显偏离正常建模，或与最近观测数据不一致，路由系统就会预判该节点可能进入异常状态，即使尚未收到明确错误，而不是被动等待失败。

在亿次调用的实测中，这套机制让整体 TPS（吞吐量）提升了约 90%，成本同步下降了 37%。

选择最适合的大模型API服务商。

实现这种「自动驾驶」非常不容易。师天麾告诉我们。

服务商路由的一个难点在于动态均衡。「如果只把流量给当前最好的服务商，瞬间的高并发可能会直接把对方打崩。」师天麾分享了一个真实细节：曾有服务商因流量集中路由而宕机，CTO 半夜打来电话询问发生了什么。真正的路由不是简单的排队，而是「利用当前最优」与「预测分配负载」之间的精妙平衡。

模型路由的门槛更高，它本质上是用 AI 去选 AI。系统需要通过海量数据学会「什么样的问题适合什么样的模型」，并在实际运行中不断回收结果进行离线纠偏。

归根结底，这是一套依赖长期数据积累、持续自我演化的系统，也是 AI Ping 作为中国版 OpenRouter 的护城河。

重塑交易秩序：

开发少做「选择题」，服务不再只有「价格战」

不同用户的实践，从侧面印证了 AI Ping 作为「中国版 OpenRouter + Artificial Analysis」的现实价值。

对许多直接面向 C 端或 B 端用户的团队而言，在接入 AI Ping 之前，最大的困扰并非模型能力不足，而是被大量「非核心工程」消耗精力。

一位从事 ToB 智能客服助手的开发者回忆，过去团队长期陷在「工程师手动选型」的循环中：先接几家跑起来，再拿一批真实问题测效果、测延迟、测报错，最后再算一遍账。换一家就要重新适配、重新回归，周期非常长。

「判断哪个模型最好用，基本靠线上监控和经验。哪家最近延迟飘了，就人工降权，往往是用户先感知到卡顿，我们才开始补救，非常被动。」他们也曾考虑自建调度系统，但很快发现，这意味着还要额外承担监控、容灾和对账等复杂工程负担，更加偏离主线任务。

接入 AI Ping 后，这类「选型内耗」被工程化消解，大家又能把主要精力投入到客服体验上，比如知识库质量、流程引导，转人工闭环。

这种调度价值，在对成本高度敏感的场景中表现得更为直接。

一些独立开发者将 Agent 用于自用场景，对性能要求并不极致，但对成本控制极为敏感。通过 AI Ping 提供的筛选排序功能，开发者可以在多家供应商中，选出性价比最高的方案，比如 TTFT＜5 秒、TPS＞20 ，价格从低至高排序。同时，用户也可以在智能路由中使用此功能，智能路由会将用户的每一条需求，依据评测数据，路由至当前满足用户需求的最高性价比的服务商。

而在多模型协作场景中，调度能力则直接转化为商业可行性。

面团 AI 的模拟面试产品需要多模型协作，比如调用语音模型、文本语言模型，不同厂商的模型各有优势。过去，跨模型、跨平台调用流程复杂，成本也非常高。

统一接入 AI Ping 之后，团队再也不需要关心「既要接火山、又要接百度」的底层适配问题，模型调用起来成本更低，效率更高，服务性能也更加稳定。

以往找身边的学长进行一次模拟面试，往往需要付出半小时三四百元的成本。现在借助 AI 技术，只需几块钱，就可以实现一个高拟人度、高仿真的模拟面试。

类似逻辑也出现在情感陪伴应用中。一支清华大学学生团队发现，用户大部分提问是日常闲聊，少数才涉及深度推理。通过 AI Ping 的「分层调度」，简单问题流向低价小模型以保证「秒回」，关键情绪点则路由至高阶模型。这种精准分发，既避免了响应过慢导致的「冷暴力」，又将稳定性与价格压到了可控区间。

更耐人寻味的是，这套评测体系也在反向重塑服务商的行为。

硅基智能成为平台的长期用户，一个重要原因在于测得准。通过横向评测，他们可以清晰看到自己在数十家服务商中的真实位置：延迟是否偏高，吞吐是否存在短板，稳定性如何随时间波动。

过去，服务商只能监控自身数据；如今，不同服务能力被放在同一把尺子下比较。当延迟、吞吐与稳定性被持续量化呈现，用户也开始以「服务质量」而非单一价格作为选择依据，行业竞争也由此从价格战转向工程优化与算力治理能力的比拼。

在师天麾看来，这将形成一个正向循环：评测数据让开发者知道什么是好服务，也让服务商看清自身短板。服务质量提升后，应用体验改善，AI 使用规模扩大，Token 消耗随之增长，收益再回流到算力与技术优化之中。

我们希望用透明的数据，让行业知道什么才是值得竞争的方向，他说，「不是只有价格，而是真正的服务能力。」

院士点赞，预见下一代基础设施

在发布会上，中国工程院院士、清华大学计算机系教授郑纬民给出了一个颇具画面感的比喻。

过去十年，行业解决的是如何把智能「生产出来」。随着模型生态与智能体（Agent）的快速繁荣，新的瓶颈正在出现：如何让智能被高效、稳定地「流通」。

在他看来，智能路由正是这一流通体系中最关键的基础设施之一，也是下一阶段 AI Infrastructure 必须回答的问题。

当模型路由、服务路由、芯片调度全部打通后，用户只需提出需求，而无需关心背后究竟是哪个模型、哪一家云厂商、哪一块芯片在工作，结果便会自动抵达。

「这将是下一代 AI 基础设施的形态，」他说，「让智能像电一样被调用和分发。」