压测出现 19 秒长尾,为什么还不能怪后端:一次查询与登录限流摸底

同一套服务,局域网压测出现 9~19 秒长尾,测试机回环的短时对照却只有十几到二十几毫秒的 P95。这个差异提示应优先排查网络与压测端路径,但还不能直接排除服务端偶发停顿。同轮登录专项还暴露了另一件事:每分钟 5 次的单 IP 限流,在 200 并发下实际放行了 20 个请求,说明计数存在竞争,而“被限流”也不能被当作登录容量结果。

🎧 文章导读

先把验收目标翻译成可执行负载

这次摸底的业务目标包括 200 人在线、50 人同时提交、十分钟约两万人打卡,以及查询、写入和文件请求的耗时要求。目标如果不转换清楚,脚本再漂亮也证明不了验收结论。

以“两万人十分钟打卡”为例,若指两万个不同组长各完成一次打卡,那么平均速率是:

1
20000 / 600 秒 ≈ 33.33 个完整打卡流程 / 秒

它不是两万人瞬时并发,也不是每秒只发送 33 个 HTTP 请求。一个完整流程可能包含状态查询、排班查询、装备校验、签到和结果回查,应明确哪些请求计入链路、登录是否提前完成。

同样,若验收写的是“最大耗时不超过 3 秒”,就不能用 P95 小于 3 秒替代;若文件要求是 5 MB,就不能用一个 1714 字节的 Excel、dryRun=true 只校验不落库的结果,宣称 5 MB 上传已经达标。

本轮工具使用 k6,并检查 HTTP 状态、业务响应、身份和写入后的回查结果。这样可以避免把“请求发出去了”或“HTTP 200”误当业务成功。

两组查询结果:长尾真实存在,根因仍未定位

局域网压测由一台本机向独立测试机发起,查询结果如下:

场景 实际负载 结果 严格口径结论
在线查询 200 用户,300 秒 55584 次业务查询全部成功;P95 345 ms,最大 9702 ms 有超过 3 秒请求,未通过
固定吞吐查询 50 次/秒,300 秒 14998/15001 成功;3 次 TCP 读取失败;最大 19189 ms 未通过,异常待定位

测试机本机又做了短时回环对照:

场景 成功次数 P95 最大耗时 错误
50 次/秒查询,60 秒 3000 13 ms 49 ms 无
200 用户查询,60 秒 11891 22 ms 528 ms 无

差异足够明显,说明下一步应同时检查压测端到服务端的网络、代理、连接池、DNS、Docker 转发和服务端停顿,而不是继续只盯着某一条 SQL。

但这不是严格的同条件实验:局域网和回环样本持续时间不同,负载模型也不完全相同,回环最大 528 ms 仍然高于其 P95 很多。它可以提供排查方向,不能单独证明“后端没有问题”,更不能用一分钟同机结果覆盖五分钟正式样本。

三种压测路径与证据边界
图 1:先剔除误经代理的无效样本,再比较直连与回环;对照结果不是根因报告。

这轮还实际遇到过一个工具链问题:最初两组请求误经本机代理,导致连接耗尽。相关结果直接作废,设置目标地址的 NO_PROXY、确认直连后重新执行查询和上报测试。保留这段失败记录很重要,否则异常数据可能被误当成服务容量证据。

下一步更可靠的定位方式,是在同一时间段采集压测端连接错误、各网络分段耗时、网关与应用日志、JVM 停顿、数据库慢查询和容器资源,并尽量用有线压测机做对照。长尾发生在哪一段,证据就应落在哪一段。

登录专项:限流拒绝不等于登录容量

普通业务查询和写入测试提前准备登录态,目的是让负载聚焦在目标接口,这部分本身不测试账号密码校验。随后另做真实登录专项,调用实际登录接口,并用新 token 查询用户资料核验身份;没有复用预置 token 代替登录,也没有关闭限流或伪造来源 IP。

现有规则是单 IP 每分钟最多 5 次登录。结果如下:

场景 成功 被限流 其他错误
200 并发首轮 20 180 0
空窗口串行 6 次 5 1 0
空窗口 200 并发复测 17 183 0

串行结果符合规则,并发却明显超额放行。复测实际成功 17 个,Redis 最后只计 9 次,说明计数和放行结果并不一致。

根因在“GET 当前计数 → 判断是否允许 → SET/INCR 更新”的分步执行。多个请求可能同时读到同一个旧值,都判断自己仍在额度内,再分别写回;并发越高,这个窗口越容易被放大。

此外,Docker Desktop 转发后,后端看到的是网关地址,而不是压测机真实来源地址。于是所有压测账号共享同一个单 IP 限流键。此时即使限流完全原子,也不能据此回答“200 个不同来源用户能否同时登录”。

所以这组数据只能得出两个结论:

  1. 现有计数实现存在并发竞争,需要修复;
  2. 本轮只有 20 个和 17 个账号获准完成登录,没有验证 200 个账号全部同时登录的承载能力。

成功 token 全部通过身份查询,复测成功登录最大 234 ms,全部响应含限流最大 1039 ms。这些耗时同样只属于获准或 rejected 的本次样本,不能补全未登录用户的容量结论。

后续可以用 Redis Lua 等方式把计数判断与更新做成原子操作,同时明确真实来源 IP 的传递和信任策略;这是后续修复建议,不是本轮已经完成的改动。修复后还要分别验证“限流是否准确”和“在约定来源与策略下登录能承载多少”,这两个目标不要混在一张表里。

资源指标也要读对单位

采样期间,测试机 Windows CPU 峰值约 48%,可用物理内存最低约 26.65 GiB;后端容器峰值内存约 632.9 MiB,没有观察到 OOM 或重启。

这些数字可以说明采样窗口内没有明显的内存耗尽,却不能证明长期无内存泄漏。后端容器 CPU 峰值约 519.76%,在 Docker 口径里 100% 表示一个逻辑核,因此约相当于 5.2 个核,不是整台 24 逻辑处理器机器的 519.76%。

资源图与请求时间线还必须对齐。离开具体请求窗口的“CPU 不高”,不能解释某一次 19 秒读取失败;单次峰值也不能替代整个测试过程的资源曲线。

小并发先暴露业务缺陷,比盲目扩大负载更有价值

本轮四人小并发签到出现两人成功、两人因绑定编号重复失败,失败请求还留下打卡和装备状态。于是测试停止扩大,先处理一致性,而不是继续把并发拉到几百、几千。

这个顺序很重要:如果四个不同账号都无法保持业务正确,两万人压测只会制造更多脏数据。后续修复使用数据库身份生成唯一绑定编号、为签到增加整体事务、用条件更新竞争装备,并重新完成自动与真实链路回归,详见延伸阅读的签到文章。

写入压测还要持续准备新数据。已签到账号、已占用装备、已上报排班不能不加处理地反复使用;也不能只删一张表来“恢复现场”,否则关联数据会残留。登录专项成功后旧 token 被覆盖,后续查询同样需要重新准备登录态。

一套更可靠的压测推进顺序

这次摸底可以沉淀成下面的执行顺序:

  1. 固定版本和口径:记录前后端版本、数据规模、负载模型、成功判定和最大耗时阈值。
  2. 先 smoke,再小并发:先确认单账号链路,再验证少量并发下的业务正确性。
  3. 按场景准备独立数据:账号、排班、装备、文件和登录态都要有效,写入场景不能无限复用旧样本。
  4. 分层测量:压测端、网络、代理、应用、数据库与资源指标同步留证。
  5. 通过后再扩大:小并发失败先修业务,不用更大流量掩盖问题。
  6. 保留无效与失败样本:误经代理、连接耗尽、断言失败都要记录原因,不只保留最好看的一轮。
  7. 单独陈述未覆盖项:未测容量、未测真机、未测完整 SSO 或未测大文件,都应明确列出。

按原记录,本轮两万人打卡尚未执行,完整外部平台跳转、真实身份桥接、摄像头扫码、GPS 和移动端体验也未覆盖;五十万值班信息、十万排班等代表性数据量仍待补充。因此它是一份可追溯的摸底报告,不是性能验收通过报告。

性能测试的价值不只是产出一个数字,而是把“知道了什么、还不知道什么、下一步该测哪里”分清楚。面对长尾时,这种边界意识往往比立刻给出一个看似确定的根因更有用。

延伸阅读


本文根据 2026 年 11 月 3 日压测记录及后续修复记录整理。内网地址、账号、令牌和本机路径已省略;全部压测数字均为原记录结果,本次整理未重新执行压测。