GPUFits

本地 vs API 成本计算器

对比本地跑大模型与调用托管 API 的真实成本:硬件摊销、电费与 token 定价,给出盈亏平衡点。

成本按 75% 输入 / 25% 输出 token 估算。这里只出现有「同模型托管 API」的模型——只有这才是同口径对比。

托管 API

$6.6

deepinfra · meta-llama/Meta-Llama-3.1-8B-Instruct · $0.28/月

  • groq: $0.58/月

本地部署

$400

rtx-3060-12gb · 7.5 GB

  • 硬件(参考价): $180
  • 硬件摊销: $7.5/月
  • 电费: $9.18/月

结论

该用量下 API 更划算。用量更高时本地才占优——盈亏平衡点约为

我们不鼓吹任何一边。持续高用量时本地占优;用量低或波动大时 API 几乎总是更便宜。隐私与离线使用是选择本地的独立理由,本计算器不为其定价。

估算值。API 价格每月从官方定价页核实;硬件价为人工维护参考价;电费按 GPU 平均 50% 负载估算。本地与托管 API 的速度/质量差异未计入价格。