电力时代拼千瓦时,云时代拼实例小时,AI 时代拼 Token。它计量的不只是「说了多少字」,而是推理、上下文、工具往返与多 Agent 协作的全部燃料。
爆款金句:Token 是 AI 世界的「电费账单」——看不见,但每一度都在烧钱。
Token 为什么像「新货币」
- 可计价 — 输入/输出按量计费,账单可归因到产品功能
- 可投机 — 价差、批处理、缓存命中改变毛利
- 可战争 — 模型厂商、云厂商、应用层在抢定价权与锁客
爆款金句:谁掌握了 Token 的定价权,谁就掌握了 AI 时代的印钞机。
成本结构拆开看
Token 成本流向图
flowchart LR
A["用户请求"] --> B["系统提示<br/>System Prompt"]
A --> C["上下文<br/>Context"]
A --> D["工具调用<br/>Tool Calls"]
B --> E["输入 Token<br/>Input Tokens"]
C --> E
D --> E
E --> F{模型推理}
F -->|"小模型<br/>低成本"| G["快速响应"]
F -->|"旗舰模型<br/>高成本"| H["深度推理"]
G --> I["输出 Token<br/>Output Tokens"]
H --> I
I --> J["账单<br/>$/百万Token"]
classDef input fill:#e8f5e9,stroke:#4caf50,stroke-width:2px
classDef output fill:#e3f2fd,stroke:#2196f3,stroke-width:2px
classDef model fill:#fff3e0,stroke:#ff9800,stroke-width:2px
classDef bill fill:#fce4ec,stroke:#e91e63,stroke-width:2px
class B,C,D,E input
class G,H,I output
class F model
class J bill
完整成本明细表
| 成本桶 | 常见驱动 | 典型占比 | 优化抓手 | 节省潜力 |
|---|---|---|---|---|
| 提示输入 | 系统提示过长、重复贴仓库 | 30%-50% | 缓存、摘要、RAG 分段 | 40%-70% |
| 输出 Token | 啰嗦、反复重写、格式冗余 | 20%-35% | 更严的格式约束、JSON schema | 30%-50% |
| 多轮 Agent | 工具来回、失败重试 | 15%-30% | Harness 限次、早停、工具聚合 | 25%-60% |
| 长上下文 | 「把整个 monorepo 塞进去」 | 25%-45% | 检索代替硬塞、向量数据库 | 50%-80% |
| 嵌入 Embedding | 向量化全部文档 | 5%-15% | 增量更新、按需嵌入 | 30%-60% |
| 微调 Fine-tuning | 定制化模型训练 | 一次性投入 | 迁移学习、LoRA 轻量微调 | 40%-70% |
Token 经济学的关键概念
什么是上下文膨胀?
上下文膨胀是指随着对话轮次增加,每次请求都需要携带全部历史对话内容,导致 Token 消耗呈线性甚至指数级增长。一个 10 轮对话的 Token 消耗可能是单轮的 15-20 倍。
什么是模型路由?
模型路由是根据任务复杂度智能选择模型规模的策略:简单任务(分类、摘要)走小模型,复杂推理走旗舰模型。合理的路由策略可以节省 40%-60% 的 Token 成本,同时保持输出质量。
什么是缓存命中?
缓存命中是指利用相同或相似的系统提示前缀,让模型供应商的缓存系统返回预计算的 KV 缓存结果,避免重复推理。前缀缓存命中率每提高 10%,总成本下降约 8%-12%。
「裁员省下的钱」可能被 Token 吃掉
自动化项目常犯的账:只算编制,不算:
- 高峰时段溢价推理
- 失败重试的隐形倍增
- 为了稳妥选最贵旗舰模型
所以 Token 经济学与「裁员换 AI 后悔」是同一张报表的两面。
爆款金句:裁员省下的工资,可能在深夜的推理账单里加倍还回来。
企业采购的务实策略
| 策略 | 实施方式 | 预期效果 | 难度 |
|---|---|---|---|
| 智能路由 | 简单分类走小模型,硬推理走旗舰 | 降本 40%-60% | 中 |
| 前缀缓存 | 稳定系统提示与检索片段做缓存 | 降本 20%-35% | 低 |
| 预算警报 | 按功能/按团队设日限额,超限降级 | 防预算失控 | 低 |
| 成本验收 | 不仅看准确率,也看「每千次成功任务成本」 | ROI 透明化 | 中 |
| 合约锁定 | 承诺用量换取折扣,锁定未来价格 | 降本 15%-30% | 高 |
| 多供应商 | 不绑定单一模型厂商,保持议价能力 | 风险分散 | 高 |
产品人要盯的三指标
- 单次成功任务平均 Token — 衡量效率的核心指标
- 缓存命中率 — 反映系统提示的稳定程度
- 因上下文溢出导致的失败占比 — 揭示上下文管理的短板
各厂商 Token 定价对比
| 厂商 | 输入价格 (每百万 Token) | 输出价格 (每百万 Token) | 缓存命中折扣 | 备注 |
|---|---|---|---|---|
| OpenAI GPT-4o | $2.50 | $10.00 | 50% off | 旗舰定价标杆 |
| Anthropic Claude | $3.00 | $15.00 | 90% off | 缓存折扣最大 |
| Google Gemini | $1.25 | $5.00 | 50% off | 性价比突出 |
| 开源部署 | 自托管成本 | 自托管成本 | 无 | 适合长期大规模 |
注:以上价格为示例,请以各厂商官方实时报价为准。
FAQ
什么是 Token?为什么 AI 要用 Token 计量?
Token 是大语言模型处理文本的基本单位。一个 Token 大约对应 0.75 个英文单词或 1.5-2 个中文字符。使用 Token 而非字数,是因为模型内部的分词机制(Tiktoken、SentencePiece)决定了计算资源的实际消耗。
输入 Token 和输出 Token 为什么价格不同?
输出 Token 需要模型逐个生成,涉及完整的自回归推理过程,计算量远大于输入 Token 的前向编码(Forward Pass)。因此输出 Token 价格通常是输入的 3-5 倍。
如何快速降低 Token 消耗?
最有效的三个动作:1) 缩短系统提示 — 移除冗余指令,控制在 500-1000 Token;2) 启用缓存 — 固定前缀让供应商缓存;3) 模型降级 — 非核心任务用小模型或开源模型。
Token 经济学对未来有什么影响?
Token 正在成为 AI 世界的「碳排指标」。未来可能出现:Token 预算管理体系、Token 审计标准、Token 效率排名等。企业需要提前建立 Token 成本意识,将其纳入财务 KPI。
个人开发者如何应对 Token 成本压力?
- 优先使用有免费额度的 API 或开源模型本地部署
- 善用 Prompt 压缩技术(如 LLMLingua)
- 对高频重复请求做结果缓存
- 加入开源社区共享模型资源
什么是 Token 的「上下文窗口」?它和成本有什么关系?
上下文窗口是模型一次能处理的 Token 上限(128K、200K、1M 不等)。窗口越大,能处理的上下文越丰富,但每次请求的成本也越高。不是窗口越大越好,而是够用就。超过实际需要的窗口,就是在为空白付费。
来源
- 视频:Token经济学:AI时代的新货币战争
- 源网址:
https://www.youtube.com/watch?v=ppRvzPXGpEw
价格数字与厂商策略随市场快速变化,请以源视频及官方价目为准;本文保留分析框架便于后续填数。
读者讨论
精选 3 条 · 友善交流
【补充】企业采购别只看单价,要看缓存命中、路由策略与失败重试是否计费。账单爆炸经常来自「安静的上下文膨胀」。
【实操】我们把长文档先摘要再进模型,Token 掉一截,效果未必差。计量货币视角对工程优化很有启发。
【思考】谁掌握定价权与路由,谁就掌握边际成本——这句把商业竞争说透了。比空谈「AI免费」清醒。