← 返回博客

Batch API 半价,为什么每条合格结果仍会超预算?

很多团队在引入大模型原生 Batch API 后发现,虽然官方标称提供半价折扣,但最终核算到每条合格业务数据的成本依然超出预期。本文深入分析部分完成、业务验收未通过损耗及选择性重试对交付单价的影响,梳理主流模型批次计费边界与去重对账口径。

合格交付成本:单价半价不等于结果半价

评估离线分类、批量结构化提取或离线评估任务的支出时,最常见的误区是直接将模型的输入输出 Token 标称单价乘以预估用量。原生 Batch API 普遍宣传较同步接口便宜 50%,但这仅代表单次推理消耗的基础费率折半,并不等于最终交付物成本自动折半。

实际核算时,真实有效单价必须以“总实际账单支出 ÷ 唯一通过业务验收的合格交付条数”为准。通过客户端使用 asyncio 高并发请求同步接口,本质上仍是按同步接口规则计费,且容易遭遇速率限制(429)与网络中断;原生 Batch 则是将请求包打包成 JSONL 文件提交至服务商排队离线执行。如果批次内出现质量不合格输出、部分任务过期或未查明状态的盲目重试,沉没成本就会直接拉高合格产出的实际单价。

三大服务商原生 Batch 计费边界与状态差异

不同服务商对批次超时、失败与部分完成的计费定义并不完全相同,在设计对账逻辑时必须精确对齐状态口径:

  1. OpenAI Batch API:提供相对同步调用 50% 的成本折扣,通常在 24 小时完成窗口内排队处理,未完成请求可能会超时(expired)。已经完成推理的单条请求按 Token 正常计费,未开始的请求取消后不收费。取消批次可能在 cancelling 状态停留最多 10 分钟。结果文件行序可能与输入顺序不一致,必须使用 custom_id 进行关联。
  2. Anthropic Message Batches:同样享受 50% 折扣与 24 小时过期窗口。批次状态显示 ended 并不等于全部调用成功。单条结果类型分为 succeeded、errored、canceled 与 expired,官方文档明确注明后三种失败与未执行状态不计费。但 succeeded 仅代表大模型成功生成文本,不等于业务格式检验通过。结果自创建起保留 29 天,Prompt 缓存命中属于尽力而为(best-effort),不提供硬性命中保证。
  3. Gemini Batch API:标称标准成本的 50%,目标周转时间为 24 小时(Target,非严格 SLA),输出通过键名与输入建立映射。其单条超时与取消的计费边界需以具体控制台账单与返回结果状态为准,开发者切勿假设所有平台都采取完全相同的计费豁免规则。

假设算例:1000 条任务的交付单价推演

以下为一个明确设定的合成估算场景(非真实线上发票),展示交付合格率对最终单价的影响:

设某离线抽取任务共 1000 条样本,基准同步单次调用折合 $0.01,原生 Batch 五折后单次有效调用为 $0.005。

  • 第一轮全量提交后,900 条在过期前成功返回,另 100 条处于确认未执行状态(假设平台对未执行条目免收费用)。首轮实际发生账单为 900 × $0.005 = $4.50。
  • 业务质检程序介入:在成功返回的 900 条结果中,800 条通过 Schema 校验与业务逻辑验收;100 条因字段缺失或幻觉导致业务验收不合格。注意:这 100 条已经产生了模型推理费用(消耗 $0.50)。
  • 开发者对确认未执行的 100 条样本发起第二轮批处理补跑。第二轮中,90 条执行完成且验收合格,10 条再次未执行(不收费)。第二轮额外发生费用 90 × $0.005 = $0.45。
  • 汇总计算:累计总支出为 $4.50 + $0.45 = $4.95;最终获得的唯一且合格的业务交付物为 800 + 90 = 890 条。
  • 此时每条合格产出的真实单位成本为 $4.95 ÷ 890 ≈ $0.005562,相比名义单价 $0.005 上浮了约 11.24%。

如果研发团队将业务质检失败的 100 条混入补跑队列,甚至在未等待终态时就盲目全量重跑,分子费用将进一步累加,导致单价彻底失控。

交付对账与重试控制清单

要避免预算跑冒滴漏,工程流水线需建立严格的对账流水控制:

  • 输入前建立业务主键:为每条输入绑定全局唯一的业务 ID,并在提交给 Batch API 时写入 custom_id,绝对不可依赖行号匹配。
  • 区分四类响应状态:批次下载后,对结果归类为“成功且质检通过”、“模型成功但业务质检失败”、“提供商返回明确失败(如上下文超限)”以及“状态未知(不得等同已确认未执行)”。
  • 隔离业务不合格重跑:业务不合格意味着需要调试 Prompt、完善 Few-shot 或调整抽样温度,绝不可作为普通网络抖动直接回塞进 Batch 补跑队列。
  • 幂等与取消确认:在收到取消(cancelled)终态前不可启动全量补跑,涉及外部工具调用的任务可参考 工单幂等与超时降级指南 建立排重防线。

架构选型与实时接口参考

原生 Batch API 适合容忍 24 小时交付周期的离线大吞吐任务。如果业务侧对端到端时效有严格约束,或者需要保持长连接实时交互,依然需要依赖网关层进行同步调用与客户端并发限流调度。

需要评估多模型实时统一接入时,可通过聚合网关 APIBox 注册地址 统一至 Base URL https://api.apibox.cc/v1。根据官方最新实时模型目录快照(如 GPT 系列 gpt-6.2-sol 配合 gpt-vip-1 折扣倍率 0.1、Claude 系列 claude-sonnet-5 配合 claude-vip-2 倍率 0.3、Gemini 系列 gemini-3.8-flash 配合 gemini-vip 倍率 0.2),团队可以在生产前通过小样本测试端到端延迟和实际账单,具体额度规则以 APIBox 实时价格说明 为准。平台支持微信与支付宝结算,但需注意,目录接口与倍率仅代表同步模型接入参数,不代表支持原生 /batches 异步打包接口,二者不可混淆计算。

可运行的离线校验

仅为合成数据校验,不调用模型或重试生产请求。

from decimal import Decimal as D

def accepted_cost(total_cost, accepted_ids):
    cost = D(total_cost)
    if not cost.is_finite() or cost < 0:
        raise ValueError("invalid cost")
    ids = list(accepted_ids)
    if not ids or any(type(x) is not str or not x for x in ids):
        raise ValueError("need accepted business IDs")
    return cost / len(set(ids))

# Synthetic billed-attempt totals, not a measured invoice.
cost = D(900) * D("0.005") + D(90) * D("0.005")
assert cost == D("4.95")
ids = [f"item-{i}" for i in range(890)]
assert accepted_cost(str(cost), ids + ids) == D("4.95") / D(890)
for invalid in ("-1", "NaN", "Infinity"):
    try:
        accepted_cost(invalid, ids)
    except ValueError:
        pass
    else:
        raise AssertionError("invalid cost accepted")
print(accepted_cost(str(cost), ids).quantize(D("0.000001")))

来源与实时目录

常见问题

客户端通过 asyncio 并发调用同步接口,是否可以享受 Batch API 半价折扣?

不能。客户端并发控制本质上依然是在高频请求各平台的标准实时端点,客户端并发本身不会触发原生 Batch 折扣。只有使用服务商支持的原生 Batch 接口及其规定的输入形式(并非所有接口都必须上传 JSONL 文件),才能享受标称的 50% 成本折扣。

批次状态显示处理完成(Ended/Completed),是否代表所有请求都已成功且无需对账?

不代表。批次状态完成仅表示平台完成了整个任务集的排队与处理周期。其中可能包含部分成功(succeeded)、超时过期(expired)或执行报错(errored)的请求。开发者必须逐行解析输出与错误文件,通过 custom_id 校验业务完成度与计费行。

第三方中转平台的分组折扣能否与官方原生 Batch 的 50% 折扣叠加?

不能直接叠加。主流中转网关的价格比率和会员分组通常仅作用于实时的聊天补全与生成端点。除非代理服务商明确公开了专属的原生 /v1/batches 支持规范与配套账单规则,否则不能将两者的折扣系数简单相乘估算成本。

立即体验,注册后即可使用 30+ 模型,一个 Key 全搞定

免费注册 →