← 返回博客

批处理已结束,为什么不能整批重跑?LLM离线对账与重试边界

大模型原生Batch进入完成状态并不等同于业务验收成功。整批重跑会导致已成功的请求重复计费与副作用覆盖。本文拆解OpenAI与Claude原生批处理的状态对账逻辑、行级四分类法与重试隔离规范,建立严谨的批任务恢复机制。并避免盲目补跑。

本文的双文件字段专指 OpenAI 原生 Batch;Claude 使用独立的结果流协议。以下分类是应用层建议,不能把 HTTP 5xx 本身当作未执行证明。

为什么“状态为 Completed”不等于业务全部成功

在使用大模型原生批处理(如 OpenAI Batch 或 Claude Message Batches)进行大规模异步推理时,开发者常犯的一个严重设计错误是:当批处理任务达到终止状态(Terminal State)且出现缺失或错误时,直接将原始请求文件重新打包提交整批重跑。

这种粗暴做法在工程上存在巨大风险。首先,大语言模型服务商的原生批处理机制遵循异步非确定性调度,输出文件的行序通常不等于输入文件的原始顺序,且各行是完全独立的推理执行单元。当批处理状态显示为 completed、expired 或 cancelled 时,系统仅代表该批次调度生命周期结束,绝不代表所有请求均被正确执行或被业务层验收。如果直接整批重跑,已经产出有效结果的数万行请求将面临二次推理与重复计费,甚至引发下游数据库的数据版本覆盖冲突。

规范的工程实践要求将批任务视为“离线对账流程”,必须在单行(Row Level)粒度建立精细化的对账与重试边界。

原始结果对账:join、双文件下载与缺失行归类

要实现安全对账,必须遵循以下原生协议特性:

  1. 显式对齐键:必须依赖每个请求中的 custom_id 进行结果 join。不能依赖文件行号或隐式顺序。
  2. 按具体协议下载结果:在任务到达终止状态后,系统往往会分离输出。OpenAI 原生 Batch 应下载非空 output_file_id 与 error_file_id 对应文件;字段为空时不能伪造空结果。Claude 原生批处理使用结果流及逐项 result.type,不是同一套双文件接口。
  3. 妥善保留原始数据:下载的原始 JSONL 输出必须原样归档至不可变对象存储中,作为审计与计费对账凭证。
  4. 识别未知缺失行:即使任务标记为 completed,如果某行在 output 与 error 文件中均未出现,该行的状态只能被记为 UNKNOWN,绝不能在未经核查前自动假设为瞬时失败并触发重试。
  5. 取消状态的部分结果:对于 cancelled 状态的批次,上游提供商往往已经完成了部分请求的生成,同样可以且必须下载对应的部分 output 文件并完成入库。

单行级四分类模型与假设用例推演

完成 output、error 与输入文件的全量 join 匹配后,系统必须将输入集合拆分为四类互斥状态。我们通过 4 个假设的业务请求 ID 进行说明(仅用于逻辑分类演示,非实测数据):

  • ID-a(accepted,业务已验收):在 output 文件中成功返回,且模型输出通过了业务层格式校验、敏感词检查与数据库写入。绝对禁止重试。
  • ID-b(quality_failed,业务质量失败):在 output 文件中返回成功状态码,但模型生成的内容格式崩溃、未能输出指定字段或未通过确定性校验规则。该请求已被上游模型完整执行并消耗算力,重试同一提示词往往产生同类错误;必须流转至人工复审或提示词修正队列,禁止直接自动化重跑。
  • ID-c(confirmed retryable,确认可重试的未执行项):由于批次 expired 导致上游明确标记为未执行,且已根据具体错误语义确认可安全重试。这是唯一具备重试资格的候选对象。
  • ID-d(absent unknown,缺失且状态未知):在 output 和 error 文件中均找不到记录。该行必须先进入隔离区(Quarantine),经由离线对账脚本或向供应商工单确认该调用确实未在后台结算后,方可决定是否放行重试。

在上述 4 个假设用例中,仅有 ID-c 可以被提取出来,重组成新的重试批次。

业务 ID 与重试 Attempt ID 物理分离

为了避免多次重试导致的 custom_id 命名冲突,架构设计中必须严格分离业务主键与批处理跟踪键:

  • Stable Business ID:业务实体的不可变标识(例如用户分析记录 ID order_9872)。
  • Attempt ID:每一次提交给 LLM 的批处理调用应组合为动态键,例如 order_9872-att_2。
  • 冲突隔离机制:若输入文件中出现重复的 custom_id,对账系统应立即触发隔离警报并中断解析,防止覆盖下游分析。

需要特别强调的是,绝不能假设“批处理失败就不计费”或“失败行全部免单”。不同的错误类型计费规则各异,鉴权错误(401)与入参验证错误(400)不属于可重试的瞬时网络错误,必须阻断在重试队列之外。关于单次调用的超时重试与幂等键设计,可参考智能体工具调用的超时与幂等设计。

混合流水线与实时补救方案

虽然原生 Batch 是处理超长文本或非时效性任务的常见选择,但当批处理对账后只剩下极少量的“孤儿行”(如前述的 ID-c)时,重新等待异步批次窗口可能不符合剩余任务的时效要求。此时,工程团队通常采用“离线批处理 + 实时兜底补偿”的混合架构:对账脚本筛选出可重试的极少数记录后,通过标准同步 API 发起单条兜底修复。

需要注意,本文探讨的离线对账属于客户端系统层面的数据校验规程,并非中转网关的原生批处理 API 功能。如需在补救阶段调用前沿模型进行实时交互或小批量快速重试,开发者可通过统一接入平台进行跨架构调用,具体模型目录可查询 APIBox 价格中心。开发者可前往 APIBox 注册中心 获取令牌,并配置生产端点 https://api.apibox.cc/v1 进行鉴权调用。

参考来源

可运行的离线校验

仅为合成数据校验,不调用模型或重试生产请求。

# Offline synthetic normalized states, not a provider parser.
def classify(expected, rows):
    if len(expected) != len(set(expected)):
        raise ValueError("duplicate input ID")
    seen = {}
    allowed = {"accepted", "quality_failed", "confirmed_retryable"}
    for key, state in rows:
        if key not in expected or key in seen or state not in allowed:
            raise ValueError("unknown ID, duplicate result, or invalid state")
        seen[key] = state
    return {key: seen.get(key, "unknown") for key in expected}

result = classify(["a", "b", "c", "d"], [
    ("c", "confirmed_retryable"), ("a", "accepted"),
    ("b", "quality_failed")])
assert result["d"] == "unknown"
assert [k for k, v in result.items() if v == "confirmed_retryable"] == ["c"]
try:
    classify(["a"], [("a", "accepted"), ("a", "accepted")])
except ValueError:
    pass
else:
    raise AssertionError("duplicates must be quarantined")
print(result)

来源与实时目录

常见问题

为什么原生批处理的状态变成 completed 后,部分行仍然可能失败?

服务商批处理的 completed 状态仅代表调度生命周期正常结束,不代表每行请求都成功生成。部分行可能因上下文长度超限、服务瞬时中断写入 error 文件,甚至极少数行在双文件中均无记录。必须逐行解析 output 和 error 文件进行对账。

单行请求在 output 文件中成功返回,为什么依然不能标记为完成?

模型 HTTP 状态码成功仅代表上游完成了推理。如果模型返回的内容不符合业务的 JSON 格式约定、触发了下游业务校验异常或格式质量不达标,该记录属于质量失败(quality_failed),不能未经修正直接重跑,更不能直接视为业务验收通过。

对于状态为 cancelled 的批处理任务,可以直接舍弃重发吗?

不能直接舍弃。对于被取消的任务,上游通常已经执行并输出了部分有效结果,这部分请求已被记账且可通过 output_file_id 获取。直接整批重发会导致已完成的部分产生重复推理和额外费用,必须先下载对账已有的部分结果。

立即体验,注册后即可使用 30+ 模型,一个 Key 全搞定

免费注册 →