LLM 压测的协调遗漏:为什么闭环测出零排队
用一个可复现的 Python 离线算例解释 LLM 压测中的协调遗漏:闭环与固定到达率测得相同的端到端 p95,第二个请求的排队时间却相差 200 ms。对照 k6 的未启动迭代、请求失败和业务完成数,判断负载是否符合目标,并在调用模型前设定测试预算。
在大语言模型(LLM)性能评估中,首项请求遭遇 300 ms 慢请求时,第二项请求在两种模型下的物理开始时刻完全一致(均为 t = 300 ms),但度量结果截然相反:闭环单客户端测得第二项请求排队等待 0 ms、完成时刻 350 ms;固定到达率开环模型(到达间隔 100 ms)测得第二项请求排队等待 200 ms、完成时刻 350 ms。两者端到端 p95 均为 300 ms,但闭环测试没有生成在 100 ms 独立到达的请求,自然也不会记录它的等待。
本文聚焦排队理论与到达率模型的测量机制,不测算首字延迟(TTFT),不开展线上实测。
离散事件演算:闭环与开环模型
设定单一串行服务台(FIFO),时间窗口 [0, 1000) ms。两组模型服务耗时规则相同:首项请求耗时 300 ms,后续各项均为 50 ms。百分位数采用 Nearest Rank,即升序排列后从 1 开始计数的位次为 ceil(0.95 * n)。
- 闭环模型:前项请求完成后立即发起下一项。第 0 项在 t = 0 ms 开始,t = 300 ms 完成;第 1 项在 t = 300 ms 开始,t = 350 ms 完成;依次递推至第 14 项在 t = 1000 ms 完成。共处理 15 项,所有请求排队等待均为 0 ms。
- 开环模型:本例假设排队队列无上限且不丢弃,按固定时间表 t = 0, 100, …, 900 ms 到达(共 10 项)。开始时间公式为
start = max(scheduled, free),free = start + service。第 1 项在 t = 100 ms 到达,需等待至 t = 300 ms 服务台释放,排队等待 200 ms。第 4 项排队 50 ms,第 5 至 9 项排队等待均为 0 ms。最后一项在 t = 950 ms 完成。
| 评估维度 | 闭环单客户端模型 | 开环固定到达率模型(示例假设无上限队列) | 差异说明 |
|---|---|---|---|
| 完成请求数 | 15 项 | 10 项 | 闭环随服务加速自发追加;开环按时钟触发 |
| 最终完成时刻 | 1000 ms | 950 ms | 均在 1000 ms 区间内完成 |
| 队列等待 p95 | 0 ms | 200 ms | 闭环等待前项完成才发;开环在服务台忙碌时仍有请求到达 |
| 服务耗时 p95 | 300 ms | 300 ms | 服务耗时规则相同 |
| 端到端延迟 p95 | 300 ms | 300 ms | 极端单次慢请求均拉高了样本尾部 |
import math
def calculate_p95(values):
if not values:
return 0
sorted_v = sorted(values)
return sorted_v[math.ceil(0.95 * len(sorted_v)) - 1]
def simulate_serial_queue():
get_svc = lambda idx: 300 if idx == 0 else 50
# 1. Closed-loop
closed_reqs, clock, req_id = [], 0, 0
while clock < 1000:
svc = get_svc(req_id)
closed_reqs.append({"id": req_id, "wait": 0, "svc": svc, "e2e": svc, "finish": clock + svc})
clock += svc
req_id += 1
# 2. Open-loop (Unbounded queue assumption)
open_reqs, free_at = [], 0
for req_id, sched in enumerate(range(0, 1000, 100)):
svc = get_svc(req_id)
start = max(sched, free_at)
finish = start + svc
open_reqs.append({"id": req_id, "wait": start - sched, "svc": svc, "e2e": finish - sched, "finish": finish})
free_at = finish
return closed_reqs, open_reqs
if __name__ == "__main__":
c_reqs, o_reqs = simulate_serial_queue()
print(f"Closed: n={len(c_reqs)}, wait_p95={calculate_p95([r['wait'] for r in c_reqs])}ms, e2e_p95={calculate_p95([r['e2e'] for r in c_reqs])}ms")
print(f"Open: n={len(o_reqs)}, wait_p95={calculate_p95([r['wait'] for r in o_reqs])}ms, e2e_p95={calculate_p95([r['e2e'] for r in o_reqs])}ms")
小样本离散推导仅用于定性阐明排队理论机制,不能直接作为生产环境的服务等级目标(SLO)。若在流式输出中遭遇中断排查,可参考 LLM 流式输出截断与 HTTP 200 不完整响应排查指南。
k6 机制与度量口径
在 Grafana k6 中,固定到达率场景与纯数学队列不同:
- 参见 k6 Open vs Closed Scenarios 官方文档 与 k6 Dropped Iterations 概念文档,k6 由虚拟用户(VU)池驱动。当到达时刻到来而
maxVUs全被未完成请求占用时,k6 会记录dropped_iterations。 dropped_iterations是发压端因并发不足未能按时派发的迭代,不是 HTTP 5xx 错误,也不等于请求失败。dropped_iterations > 0说明发压未按目标速率打满,但不代表已发出的样本无效;反之,dropped_iterations == 0也不能单独证明系统达到线上 SLO。- 只有在“每迭代仅发起单次请求”的特定测试脚本中,迭代计数才可与 HTTP 请求一一对照。压测时需独立记录:计划迭代、已启动迭代、
dropped_iterations,以及业务层面的完整业务成功数、超时数、HTTP 失败数与网络中断数。
调用方预算控制与 APIBox 接入配置
进行网关基准评估时,调用方应在客户端脚本内部实施防护:预先设定总尝试次数上限(含重试)、严格限制单次请求的输入与输出 token 上限;一旦达到本地预设预算,立即停止派发新流量。
APIBox 网关地址为 https://api.apibox.cc/v1。实时定价接口 列出了以下模型与分组倍率(仅供结算折算,不构成 SLA 或可用性承诺):
- gpt-6-astra(分组
gpt-vip-1):倍率 0.1 - claude-sonnet-5(分组
claude-vip-2):倍率 0.3 - gemini-3.8-flash(分组
gemini-vip):倍率 0.2
根据官方 APIBox 充值与定价说明页面,支持支付宝与微信充值。开发者完成离线排队推导与本地预算防线配置后,可通过 APIBox 开放平台注册入口 创建凭据接入评估。
常见问题解答
什么是大模型压测中的协调遗漏(Coordinated Omission)?
协调遗漏指在闭环压测中,前序请求阻塞导致后续请求推迟发起,使发压端脱离与独立到达流量的真实节奏,从而在度量中漏记队列等待时间的现象。
k6 固定到达率压测中出现的 dropped_iterations 是 HTTP 错误吗?
不是。dropped_iterations 仅表示活跃 VU 耗尽导致未能按既定时间表启动新迭代,既不是 HTTP 失败,也不直接等同于请求失败。
为什么离散事件模拟的 p95 延迟结果不能直接作为线上 SLO 达标依据?
离散模拟基于小样本受控规则演算,仅用于定性阐明排队理论机制;线上存在千级并发、网络抖动与长尾分布,离散数值不能直接作为生产环境 SLO 承诺。
立即体验,注册后即可使用 30+ 模型,一个 Key 全搞定
免费注册 →