导语：AI 推理正从模型参数竞赛转向推理时计算与部署效率竞争。随着智能体系统普及，推理栈、代币经济学与边缘部署成为 AI 商业化关键。从 Prompt 到上线，谁能控制成本、延迟与可靠性，谁就可能吃下新一轮部署红利。
推理发展：从参数竞赛到推理时计算
2024 年之前，AI 领域主要专注于训练规模更大、性能更强的模型。2019 年 11 月发布的 GPT-2 只有 15 亿参数，2022 年 11 月推出的 GPT-3 则暴增至 1,750 亿参数。然而，GPT-3 在处理复杂指令、可靠计算和长链条逻辑问题时往往表现不佳。
直到 2024 年 GPT-4o1 模型问世，人们才意识到，高性能模型可以通过在输出答案前进行多步逻辑分析实现推理。这也表明，增加参数量并非提升模型能力的唯一路径：在推理阶段分配更多计算资源，同样能改善复杂任务表现。
但推理需要更多推理时计算，带来更高延迟与成本。随着智能体系统兴起，单个任务可能反复调用模型与工具。OpenClaw 在 2026 年 1 月的迅速普及进一步凸显趋势，市场对推理优化关注持续提升，vLLM、SGLang 等开源推理引擎日益流行。
推理产业栈与市场图谱
AI 推理栈价值链可分七层，从用户应用延伸到底层 GPU 硬件。许多人混淆路由层与推理平台，因为两者都提供 API 端点，但底层商业模式截然不同。
OpenRouter 本身并不拥有算力，而是在底层服务之上收取约 5% 的代币路由服务费，通常聚合 Fireworks、Together AI 和 Baseten 等推理平台。这是典型平台型商业模式，路径与 OpenSea 类似：一方面充当新发布、通常来源未公开模型（例如 Ox-Alpha，即 GLM 5.3 Flash）的发现层，另一方面作为推理服务商的分发平台。若供需双方都在 OpenRouter 上形成规模，理论上可为特定模型提供最高效价格发现。
Stripe 以超过 70 亿美元收购 OpenRouter 的原因很直接：Stripe 已掌握 AI 应用收入端，如今希望进一步掌握成本端。Ramp 也意识到这一点，并建立 Router.com 业务。资本流与智能流开始融合，它们押注 AI 原生和 AI 驱动型企业将快速增长，因此同时掌控收入端与成本端控制层，对维持支付网关主导地位至关重要。
推理市场本身是宽泛类别。根据四项属性，可划分为四个象限：算力所有权（外部算力 vs. 自带算力）；面向企业还是开发者的 GTM 策略；硬件要求；开源 vs. 闭源。
大多数推理公司起步于开源项目，随后为商业化逐渐发展为专有公司。Fireworks 与 RadixArk 创始团队展现 AI 基础设施领域反复出现的商业化路径。Fireworks CEO Lin Qiao 曾在 Meta 领导 PyTorch 项目，联合创始人 Dmytro Dzhulgakov 是 PyTorch 最初创建者之一。Fireworks 并未直接将 PyTorch 商业化，而是把团队在分布式系统、GPU 内核和开发者基础设施方面经验，转化为围绕开放权重模型构建的专有推理栈，包括 FireAttention、FireOptimizer 和托管式多云部署。
RadixArk 则体现更直接的“开源到商业”转型。它由 SGLang 创建者和核心维护者创立。SGLang 继续作为开源服务引擎和社区分发层，RadixArk 则通过托管基础设施、可靠性工具、企业支持，以及面向强化学习后训练的 Miles 框架，在其生产层实现商业化。
在两个案例中，开源既是技术标准，也是获客渠道；商业公司通过性能优化、运营可靠性、SLA 和企业集成捕获价值。这种模式可带来强大分发能力，但底层引擎仍面临商品化风险。真正可持续的护城河必须来自构建在开源项目之上的托管工作流与生产系统，而非开源项目本身。
垂直 AI 应用也开始向产业栈下游延伸。Harvey 最初依赖前沿模型 API，但如今已开始针对法律工作对 Harvey Tenet 等开放权重模型进行后训练，并建设基础设施，让各家律所拥有自己的专用模型。Genspark 仍在编排 70 多个外部模型，但也开始利用专有使用数据训练特定任务模型：Gen-1 Slides 利用大规模演示文稿生成中的反馈完成训练，其 Deep Research Agent 则通过 Fireworks 上的强化微调得到优化。
这并不意味着每一家应用公司都会成为基础模型实验室。相反，拥有专有数据且推理规模足够大的应用公司，可以选择性地将高频工作负载内部化。训练或后训练专用模型能带来更好的垂直领域表现、更低的边际推理成本，并减少对上游模型提供商的依赖；前沿模型仍可继续处理复杂任务或长尾需求。
推理代币经济学
仅看 Token 单价无法准确反映推理经济性。更好的指标是：在达到所需质量水平前提下，综合考虑模型能力、GPU 利用率、延迟与可靠性之后的单个已完成任务成本。
闭源模型通过订阅、用量额度和按量计费 API 实现商业化。订阅通常提供有限额度，而非固定数量 Token；额度耗尽后，API 价目表仍是真正边际价格。开放权重模型提供另外两种选择：多家 API 托管商之间竞争，以及在租用或自有 GPU 上自托管。在能力区间重叠时，服务商竞争与硬件可迁移性可使开放权重模型推理成本显著降低。闭源模型仍主导绝对能力前沿，并且对低用量、突发型或对 SLA 敏感工作负载仍具吸引力。
利用率比最新 GPU 更重要。只有当硬件利用率足够高时，自托管才具备经济性。每 Token 成本大致可表示为：
最新 GPU 并不一定是成本最低选择。稠密、延迟敏感型模型可能受益于 H100 或 Blackwell；稀疏或 MoE 工作负载在较旧 A100 上运行反而可能更经济。Ornn 分析显示，工作负载形态与有效利用率可能逆转人们对硬件排名的直觉，从而延长旧款 GPU 经济寿命。
以上数据基于 Ornn Data 2026 年 9 月快照与建模假设，仅具方向性，并非通用基准。
核心结论：衡量单位智能成本，而非单位 Token 成本；当能力足以满足需求时，开放权重模型会压低价格；闭源 API 在能力前沿以及便利性或可靠性方面仍保有定价权；路由之所以有价值，是因为不同任务对应的最低成本模型与硬件并不相同；推理价格将持续下降，但智能体工作负载带来的 Token 总需求增长，可能快于单位成本下降速度。
最新推理趋势：混合架构与边缘部署
AI 推理正走向混合架构。前沿推理和大规模工作负载仍将留在数据中心，而规模较小、重复性高、隐私敏感且对延迟要求高的任务，将越来越多地在 PC、工作站、手机和边缘设备上运行。
三大趋势推动转变：推理需求增加，推理模型每次回答消耗更多计算，智能体会反复调用模型与工具；开放权重模型进步，能力较强模型如今可下载并自托管，不再只能通过云端 API 访问；效率提升，量化、蒸馏、推测解码和低比特模型降低内存与算力需求。例如，PrismML 表示其 1-bit Bonsai 8B 模型仅占用约 1GB 内存，而 FP16 版本约需 16GB。JEPA 及类似架构通过预测抽象表征，而非重建每一个像素，可能进一步减少不必要计算。但正确结论是推理成本降低，而非不再需要推理。
本地与边缘推理正从爱好者场景走向更广泛实用应用。最适合用例是高频且隐私敏感工作负载，例如个人智能体、会议转录、文档搜索、编程辅助、计算机视觉和机器人。其优势明确：更低延迟并支持离线使用；对私有数据拥有更强控制力；购买硬件后不再产生边际 API 成本；对稳定工作负载而言经济性更可预测。主要限制在于：在一台设备上运行模型很容易，但管理大量设备却很困难。企业仍需跨不同 Mac、PC 和 GPU 实现路由、身份验证、模型更新、日志、监控和故障切换。
这正是 Actual Computer 所瞄准的机会：客户拥有硬件，而 Actual 提供运行时、API、中继与设备集群管理层。最终形态很可能不是本地取代云端，而是混合路由——简单且私密的任务在本地运行，复杂任务发送至云端前沿模型。
AI 推理可能带来一轮可观 PC 换机周期。Gartner 预计，AI PC 出货量将从 2025 年的 7,780 万台增至 2026 年的 1.431 亿台。然而，仅凭 NPU TOPS 并不能判断一台 PC 是否可以运行实用本地 AI。完整系统才是关键：NPU 负责低功耗、常驻型功能与小模型；GPU 负责更大生成式模型与更高吞吐量工作负载；CPU 负责编排与通用兼容性；内存往往是制约模型规模和上下文长度的关键因素。Apple 优势在于统一内存，NVIDIA 优势来自 CUDA 及其推理软件生态，Windows AI PC 拥有广泛 OEM 分销网络。在中国，联想可向庞大企业客户群分销支持 AI 的 ThinkPad 和工作站；华为则围绕昇腾硬件、CANN/MindIE，以及与 PyTorch、Triton 和 vLLM 的集成，构建国产技术栈。
结语：从 Prompt 到上线，AI 部署红利不再只属于模型层。推理路由、开放权重、代币经济学、边缘编排与混合云部署，正在共同定义下一阶段 AI 基础设施竞争。