跳转到内容

Apollo 容量模型与基准设施(capacity-and-benchmark) ​

状态:设计稿(评审中)。定位:把散落在六份设计里的容量数值(5000 CCU / 25k msg/s / movement <100B / 32KB/s token bucket……)集中为单进程容量预算表并给出推导链;回答「net-abstraction §5.6『M2+ 每项先有基准再动手』的基准从哪来」;补 C++ 侧内存与对象池预算(Lua 侧上限已有 scripting-lua §6,C++ 侧此前零对应物)。与 clock-and-time.md(tick 10Hz 口径/跳拍率指标)、attribute-sync.md(§5 带宽/§10 六阶段/§11 验收表)、net-abstraction.md(§4 水位/§4.3 上行限流/§5.6 演进阶梯)、scripting-lua.md(§5.2 钩子预算/§6 沙盒上限)、sdk-contract.md(§10.6 性能量化)、battle-determinism.md(§5 录制格式——基准负载复用)互为引用。


执行摘要 ​

  1. 容量目标一句话:单进程 5000 CCU 稳态、单场景 100 人同屏战斗 p99 达标(attribute-sync §11 全表)——其余数值全部从这条推出,不再各自为政。
  2. 推导链四步:CCU → 实体规模与 AOI 密度 → 变更/消息率(上行 25k/s 全服 = 5000×5 条/秒)→ 帧预算与带宽分配(10Hz × 100ms/帧;下行 per-client 32KB/s token bucket)→ 内存预算(每实体字节 × 规模 + Lua 状态 + net 环)。
  3. 口径统一:主循环 tick = 10Hz(clock-and-time §4 定案);movement 20Hz 是客户端上报节拍(net-abstraction §4.1),不是主循环频率——sdk-contract §10.6 量化段的「20Hz 主线程」为估算旧口径,本文以 clock-and-time 为准重述(帧占比结论不变,sdk-contract :500 的 8%/4% 按 10Hz 重算为 ~4%/2%,仍在帧预算 10% 内)。
  4. 帧预算表(§2):每帧 100ms 分配到消息段 + tick 六阶段 + 富余;各设计既有预算(脚本钩子窗口 ≤0.5ms/帧、collect/flush 超时截断)归位到同一张表,预算超时截断机制沿用 attribute-sync §10。
  5. 内存与对象池(#7):池化三类已知热点(帧对象/属性收集缓冲/发送环切片),free-list 挂 owning 线程(单写者无锁);jemalloc/tcmalloc 不引入——分配热点已被单写者+池化收敛,全局分配器替换是过早优化,列 M2+ 基准准入(分配占帧 >5% 才评估)。
  6. 基准三形态(§5):微基准(单机制,ctest,PR 级门槛)/ 场景基准(examples/benchmark,合成 intent 流——确定性 RNG 派生,可复现)/ 录制回放(线上采样 intent 序列 = battle-determinism §5 同格式,录制既是回放验证也是压测负载)。M2+ 的准入基准 = 场景基准的 before/after。
  7. 系统级验收指标集(§5 末表):各设计 §11 类验收汇总 + 新增系统级(跳拍率/dropped_ticks——clock-and-time §10 P3 引用的「容量批 §5」即此表;水位触发率;violation_score 断开率;录制体积与 hash 链分歧率——battle-determinism §8 P3 接入点)。

0. 现状:数值散落与空白(gap 证据) ​

  • 散落数值(出处实读):5000 CCU 与 25k msg/s(sdk-contract :476/:500)、movement <100B(sdk-contract :395)、32KB/s per-client token bucket(attribute-sync §5.1)、100 人同屏压测(attribute-sync §11/§12 P1 验收)、zstd >256B 阈值(sdk-contract :395——「P1 落地时基准化,与 attribute-sync §11 度量一并」的欠账本文兑现)、钩子指令预算 200k≈0.5ms(scripting-lua §5.2)、Lua 每状态内存上限(scripting-lua §6——机制有、数值无)。
  • 空白:「对象池/内存池/pmr」design 六份零命中(#7 证据);系统级容量模型与基准 harness 零成文(#5 证据)——「M2+ 每项先有基准再动手」无设施支撑即空话。

1. 口径与顶层目标 ​

项值出处/说明
主循环tick 20Hz,帧 50msworld config tickRateMs=50(设计口径 10Hz 待校准)
容量目标5000 CCU/进程 稳态sdk-contract :476 既有口径,本文升格为顶层目标
极端场景单场景 100 人同屏战斗attribute-sync §11 压测口径
实体规模玩家 5000 + NPC/怪物 ~20k(按场景配额)估算口径,配置化
上行画像人均 5 条/秒 → 全服 25k msg/ssdk-contract :500 既有估算
属性变更率人均 20 变更/秒(AOI 广播放大后下行 ~200 帧/秒/客户端)估算口径,基准校准
部署形态单进程阶段单机 8GB;P3 编队后按进程角色分表(本文以 game 进程为准)—

2. 帧预算表(每帧 100ms,单场景线程口径) ​

段预算(初始分配,基准校准后进 config 常量)依据/机制
消息段(process_messages:上行分发/异步回调)~20ms(不足用完即止,剩余让出)clock-and-time §4 主循环
simulate(业务/脚本写属性)~30ms(含脚本钩子窗口 ≤0.5ms,scripting-lua §5.2)attribute-sync §10 阶段 1
recalc(派生重算,含 Lua 公式调用)~10ms阶段 2
aoidecay(viewer set 增量)~5ms阶段 3
collect(delta/快照组装)~10ms阶段 4
flush(预算装包+发送)~10ms阶段 5
persist-batch(journal 交 DB 线程)~5ms(实测锚点 §2.4:常驻句柄批落地 1.6–2.4ms——预算内 0.32–0.48×,逐行 flush 耐久口径不变)阶段 6
富余/长尾吸收~10ms连续 N 拍 >80% 即过载信号(clock-and-time §4)
  • 超支处理沿用既有机制:阶段 4/5 预算超时立即截断、剩余下 tick(attribute-sync §10);整帧超支走有界追赶/跳拍(clock-and-time §4 catch_up_max=2)。
  • 多场景线程:每线程独立 100ms(§10 单写者),帧预算表同表复用;全进程 CPU 预算 = 场景线程数 × 帧预算 + IO 线程 + DB 线程(部署参数:场景线程数 ≤ 物理核 − 2)。

2.1 实测锚点(P3-2 批 A/C,2026-10-07) ​

口径:scene 局部负载(非全帧段成本)——examples/benchmark --models 三模型桩(arch §6 口径):全体玩家匀速漂移(5 单位/s)+ SceneAoi::move (ViewerState 差集 → Enter/Sync/Leave 事件计数)+ Scene::tick 六阶段 真实路径,单线程驱动;黄金比例散点;预热 10 帧不入统计;帧均值取 3 跑 min(下界口径——测量期宿主 load 18-24,均值受噪声摆动,min 为最接近 真实成本的统计量)。机器:i9-10880H @2.30GHz(笔记本级基线,非部署目标 硬件,跨机比较需复测)。

模型实体分布帧均(min)预算占比Sync 事件/帧事件确定性
A 大场景1×1000(1000² 世界)2.84ms2.8%19733 跑逐位一致
B 多景高密度10×100(100² 世界)5.90ms5.9%19543同上
C 副本制100×10(100² 世界)0.82ms0.8%1721同上

结论方向(量级口径,噪声环境下的下界观测):

  • 三模型 scene 局部负载全部在 100ms 预算内(最重 B ≈6-8%)——当前 瓶颈不在 scene 计算面;与 §2 分段对照 simulate 段(~30ms)有 5-10× 余量。
  • B(多景高密度)最重:广播事件面 ~19543 事件/帧 ≈ 195k 事件/s @10Hz ——AOI 差集 + ViewerState 水位维护是首个人工负载热点候选。
  • 事件量逐位确定(移动模式固定 → 差集序列确定)——基准可作回归信号 (事件量漂移 = AOI/ViewerState 行为变化)。
  • 桩口径限制:无寻路/技能/跨景/网络发送面,帧成本为下界;§2 全帧段 实测化分批补——flush 段已补 (§2.3,2026-10-13)、persist-batch 段已补(§2.4,2026-10-13)。
  • 批 B 收口(World 模拟单写者化,方案挂拍板)+ 多景并行线程化后按此 锚点复测。

(批 A 首跑 20Hz 口径数据作废——主循环 10Hz 为 clock-and-time §4 定案, benchmark kFrameDelta/预算常量随批 C 勘误为 10Hz/100ms。)

2.2 受理面实测锚点(P3-2 批 D,2026-10-11) ​

口径:受理面局部成本——examples/benchmark --acceptance:受理路径 (parseHeader + 信封构造[原始帧拷贝] + 入队)与执行路径队列侧(出队 + parseHeader + decodeBody)分段微测,突发 = cap 顶格 1024 条真实移动意图 帧(MessageCodec 全量编码);三跑 min(下界口径,同 §2.1 纪律);world 变更/广播面不在本段(归 §2.1 scene 锚点,两段夹逼全量成本)。机器同 §2.1 (i9-10880H,测量期负载噪声,总量级远低于预算故噪声不影响结论)。

段实测(min)口径
受理路径(worker:header+信封+push)~45 ns/意图3 跑 min,噪声带宽 45-70
执行路径队列侧(tick:pop+header+decode)~55 ns/意图同上
合计~0.1 µs/意图ADR-016 #3 起步假设 ~50µs,实测优 ~500×
cap 顶格 1024 条全程 drain≈0.10 ms消息段预算 20ms,余量 ~194×

校准结论(ADR-016 #3 落地,数值回填 acceptance_queue.hpp):

  • drain 侧远非约束:起步常量 cap 1024 × 实测单意图成本 ≈ 0.1ms ≪ 20ms 消息段预算——「队列深度 × 单请求处理时长 ≤ tick 预算」在实测成本下有 两个数量级余量,容量侧才是受限维度。
  • 规模档对照(上行画像 5 条/s/玩家 @10Hz = 0.5 意图/拍/玩家): 单副本(10 人)5 意图/拍 ≈ cap 0%;单景(100 人)50 ≈ 5%;大场景 (1000 人)500 ≈ 49%;全容量(5000 CCU)2500 意图/拍 = 244% cap ——单进程全容量稳态下队列饱和为固有形态,顶格拒收即其设计消费面 (ADR-016 不丢旧不静默),上行限流兜底随 net M1(net-abstraction §4.3)。
  • 数值保持:cap 1024 / 告警线 768 维持起步值——单场景档 ~20× 余量、 大场景档 ~2× 余量;若未来要抬全容量饱和水位,改一处常量即可(drain 侧 194× 余量支撑),属容量拍板项不随本批私改。
  • 复测口径:benchmark --acceptance 独立段(免等场景段)——§5 环境纪律 的对照基线复测入口。

2.3 flush 段实测锚点(P3-2 ①全帧段实测化,2026-10-13) ​

口径:collect+flush 两段的可测部分——examples/benchmark --models 帧循环在 scene 局部段(移动+AOI 差集+tick)之后,把本帧全部 AOI 事件 逐条编成真实协议帧(Enter→CellCreateEntity / Sync→CellEntityMove / Leave→CellDestroyEntity,MessageCodec 全量编码,session_id 0 = 系统广播); 编码计时段与 scene 局部段分离。网络 socket 发送不计——网关下发面仍 是桩(world_app broadcastToViewers 只落日志),本段量的是装包成本; 三跑 min(同 §2.1 纪律)。机器同 §2.1。

模型scene 帧均(min)flush 均值(min)全帧合计全帧占比Msgs/帧KB/帧
A 大场景1.93ms0.156ms2.09ms2.09%2035118.3
B 多景高密度4.50ms1.75ms6.25ms6.25%202611176.3
C 副本制0.66ms0.171ms0.83ms0.83%1786103.7

结论方向:

  • flush 段是 B 模型最大的单项段:1.75ms ≈ scene 局部段(4.50ms)的 39%——高密度多景下广播装包成本超过任一 scene 段;§2 预算表给 collect ~10ms + flush ~10ms 的分配方向正确,B 形态下两段合计实测 ~1.75ms(预算内 ~6× 余量)。
  • 单消息编码成本 ~80ns 稳定(A 0.156ms/2035 ≈ 77ns、B 1.75ms/20261 ≈ 86ns)——线性于消息数,无超线性拐点。
  • 事件量逐位确定不变:Sync/帧三模型三跑与前批逐位一致 (1972.8/19542.5/1721.3)——回归信号保留;Msgs/帧 与 KB/帧 同样逐位 确定(编码路径确定性)。
  • 口径边界(如实):全帧合计仍是下界——recalc/collect 组装/网络 发送/持久化段未计;collect 组装(delta 结构构建)与编码的边界在本段 里未分离(事件收集进 vector 的成本含在 scene 段,编码在 flush 段); persist 段已补(§2.4,2026-10-13——首测逐行开合超预算,常驻句柄批 闭合,见 §2.4)。

(事件收集面随本批进 benchmark:sink 计数 + 逐帧暂存 vector——编码在 tick 后统一做,scene 局部段计时不含编码。)

2.4 persist 段实测锚点(P3-2 ①全帧段实测化收口,2026-10-13) ​

口径:§2 预算表 persist-batch 行(journal 交 DB 线程)的可测面—— examples/benchmark --models 帧循环在 flush 段之后,逐实体 append 一条 PersistJournal 行(write-ahead 落盘)+ 定额 drain(sink=移交计数,DB 线程 序列化面不计);单写者姿态下 append+drain 同线程连续,计时段与 scene/flush 段分离。负载模型:脏实体口径 = 每帧每实体一行(~30B JSON 载荷代表 HP/exp 类 L2 增量——移动本身是 L3 易失不落 journal,载荷是负载模型非语义声明), 三模型每帧同为 1000 行。介质 = 宿主 /tmp(tmpfs),落盘面含实盘 syscall; compact(快照压薄)是独立节拍不在此段;三跑 min(同 §2.1 纪律);机器同 §2.1。

模型Rows/帧persist 段(min)单行成本(min)3 跑区间
A 大场景10002.39ms~2.4µs2.4–2.5ms
B 多景高密度10002.39ms~2.4µs2.4–2.6ms
C 副本制10001.61ms~1.6µs1.6–2.5ms

(表值 = 常驻句柄批(2026-10-13)后锚点;首测 P1-4 逐行开合骨架 6 跑 min A 10.06 / B 6.13 / C 8.74ms 留档作机制对照,见下。)

结论方向:

  • 本段不是规模函数,是机制成本 × 行数:三模型 Rows/帧同为 1000 (脏实体 = 全体口径),段成本同量;min 差异 1.6–2.4ms 是落盘面抖动 而非规模差异。
  • 机制闭合(persist 持久面批,2026-10-13):append 从 P1-4 骨架的 逐行 ofstream open+write+flush+close(耐久优先姿态,千行/帧实测 6–22µs/行、超支 1–3×)改为常驻句柄——app|binary 打开一次, 逐行 flush 耐久口径不变;写失败关句柄、下拍 append 重开(自愈同旧 逐行开语义);compact 的 tmp+rename 原子重写换 inode,压薄前先关 句柄、重写后重开(否则压薄后的 append 静默写进被删文件)。实测 min 1.6–2.4ms 全部入 ~5ms 预算(0.32–0.48×)——group commit (摊 flush)不再需要,挂账销。
  • 口径边界(如实):append 可挂 SaveQueue worker 线程(骨架单写者 注记),则 game-thread 面仅入队移交、本段成本离帧;DB 线程序列化与 compact 面不计;文本行格式 encode_line + deque 入队本体开销占比小 (drain 面微秒级)。
  • 回归信号:Rows/帧 = 1000 逐位恒定(负载模型确定);persist_ms 是 IO 面(宿主抖动),不作回归信号。

3. 消息与带宽预算(汇总既有 + 推导) ​

面值出处
上行总率25k msg/s 全服(人均 5/s);per-session 限流四通道参数表sdk-contract :500;net-abstraction §4.3
下行 per-clienttoken bucket 32KB/s(动态下调),稳态目标 ≤80%attribute-sync §5.1/§11
movement 帧20Hz × <100B ≈ 2KB/s/客户端 稳态net-abstraction §4.1;sdk-contract :395
attributes 批10Hz 批,>256B 才 zstd(阈值 P1 微基准化——sdk-contract :395 欠账)attribute-sync §7.1
全服出口带宽5000 × 32KB/s = 160MB/s 打满上限,实际 ≤80% ≈ 128MB/s ≈ 1Gbps——单机 10Gbps 网卡内;多进程编队后按进程分摊推导
帧头开销16B/帧(net-abstraction §3)——movement 类小帧占比 ~16%,bundle 攒包(M2+)是对策net-abstraction §3

4. 内存与对象池预算(#7) ​

每进程内存预算表(初始,量级口径,基准校准):

域预算推导
实体与属性≤1.5GB玩家实体 ~40KB(values 桶 ~5KB + ChangeHistory 1024 条 ~20KB + 组件 ~15KB)× 5000 ≈ 200MB;NPC ~15KB × 20k ≈ 300MB;ViewerState 对(100 同屏² × 16B × 场景数)与峰值余量
Lua 状态每状态 ≤64MB(scripting-lua §6 上限的数值化)× 场景线程数(≤8)≈ 512MB实体数据不进 Lua(scripting-lua §1),状态只装逻辑
net 收发每会话发送环 64KB + 接收缓冲 64KB × 5000 ≈ 640MB环容量 = 突发上限(水位 cut @95% 的物理基础,net-abstraction §5.8)
journal/batch 缓冲≤512MBwrite-behind 每 tick 定额出队(attribute-sync §8.2)的有界性
其他(AOI 网格/契约表/观测)≤1GB—
合计目标稳态 RSS ≤4GB(8GB 机)告警线 6GB / 熔断线 7GB(进程级,运维面)

对象池三类(已知热点,free-list 池挂 owning 线程——单写者无锁,归还零同步):

  1. 帧对象(MsgPtr 族):每 tick 消息量峰值参数化;池耗尽 = 走 trim/降级路径不现分配(OOM 防护优先于丢帧——与水位 cut 同向)。
  2. 属性收集缓冲(collect 阶段的 per-viewer 批组装):按 (viewer × 通道) 预留,复用跨 tick。
  3. 发送环切片:环本身即预分配(§5.8 发送环提交语义),池化指切片句柄/视图对象。
  • 池大小 = 容量参数(config 常量,随 §1 目标推导),启动期分配、运行期不增长——内存上界在启动即确定,不用预算换吞吐。
  • jemalloc/tcmalloc:不引入——单写者纪律 + 三类池已把分配热点收敛到可数位置;全局分配器替换改变整进程行为(碎片策略/统计面/运维面)且与「禁并存」纪律(§15.2)同族(第二分配器 = 双行为面)。列 M2+ 基准准入候选:场景基准显示分配占帧 >5% 才立项评估。
  • Lua 侧上限对齐:scripting-lua §6 表(内存/指令/错误/死循环/隔离五维)是脚本域对应物,本表补 C++ 域——两表合为全进程内存纪律。

5. 基准设施(#5 后半) ​

三形态:

形态内容归属门槛用途
a 微基准单机制:zstd 阈值(sdk-contract :395 欠账)/RNG 子流/定时器轮/发送环吞吐ctest 注册(tests/)PR 级回归可见(数字劣化即红)
b 场景基准N 场景 × M 实体 × 合成 intent 流(确定性 RNG 派生——battle-determinism §4 同源,负载可复现、结果可比)apps/bench(运维工具,apps→modules 单向;BW server/tools、KBE load nonexistent 自建同型)M2+ 准入基准(before/after 对比)、容量验收(§1 画像跑通)
c 录制回放线上采样的 intent 序列 = battle-determinism §5 同格式——录制既是回放验证负载也是压测负载(真实包型/真实节奏)与 battle-determinism P3 重放器同批真实负载校准(合成流标定不了的包型分布)
  • 「M2+ 每项先有基准」的落点(net-abstraction §5.6 纪律的设施化):io_uring 切换、bundle 攒包、分配器评估等 M2+ 项的准入 = 形态 b 的同负载 before/after + 显著性判据(尾延迟 p99 改善 ≥X% 才合入);基准拓扑(场景数/实体分布/包型)进配置入库。
  • 环境纪律:基准机配置声明(CPU 型号/内核/NIC/关 NUMA 平衡);单进程跑(分布式压测 P3 编队后另立);对照基线 golden 化入库(防「跟上次本地跑比」的漂移——与契约 golden 同哲学)。
  • 系统级验收指标集(各设计散落验收的汇总 + 新增;clock-and-time §10 P3 引用的「容量批 §5 基准」即本表):
指标目标出处
属性变更→客户端 p99 / INSTANT≤150ms(NORM)/ ≤1 tickattribute-sync §11
单客户端稳态带宽≤ 预算 80%(100 人同屏)attribute-sync §11
跳拍率 / dropped_ticks稳态 <0.1% 帧;连续跳拍告警clock-and-time §4/§10(新增量化)
水位 soft+ 触发率稳态 <1% 会话·min(触发即负载异常信号)net-abstraction §4.2(新增量化)
violation_score 断开率稳态 <0.01% 会话·minnet-abstraction §4.3(新增量化)
重连恢复 / 崩溃回档≤1 RTT+快照(≤50KB) / ≤2s journal 零丢失attribute-sync §11
进程恢复全链耗时kill -9 → 重报收敛 ≤3s / 镜像收敛 ≤3.5s(骨架两跑实测 1.3-1.8s / 2.3-2.8s,满载噪声期上限口径——load 75-90 机器共用期,空载当更优;主导项 = 重启退避 1s;RPO/RTO 目标值定档见 current process-recovery behavior 拍板点 4)current process-recovery behavior §6 批 0 演练(scripts/drill_kill9.sh,2026-10-09,i9-10880H 本机编队)
帧耗时分位tick 段 p99 ≤70ms(§2 表合计),连续 3 帧 >80ms 过载告警clock-and-time §4(新增量化)
录制体积 / hash 链分歧率≤5MB/关键战斗 / 复算分歧 = 0(版本内)battle-determinism §5/§8(接入点)
RSS稳态 ≤4GB,告警 6GB§4(本表)

6. 分期落地 ​

  • P1:容量参数集落 config(CCU/池大小/预算表常量/告警线)+ 微基准首批(zstd 阈值基准化——sdk-contract :395 欠账兑现;发送环;RNG)+ 跳拍/水位触发计数器进 MetricRegistry(指标先行,基准后到)。
  • P2:场景基准 v1(apps/bench:合成 intent 流 + 帧耗时分位/内存/带宽采样进 MetricRegistry)+ 对象池三类 + 帧预算表常量第一轮校准。
  • P3:录制回放负载接入(battle-determinism P3 重放器同批)+ 容量验收测试(5000 CCU 画像跑通 §5 指标集全表)+ 分配器 M2+ 评估点(若基准立项)。

7. 与其余设计的交集 ​

关联设计落点
clock-and-timetick 10Hz 口径源;跳拍率/gap_ticks 指标化;§10 P3 的「容量批 §5」= 本文 §5 指标表
attribute-sync§11 验收表并入本文指标集;§5.1/§10 预算/截断机制沿用;§8.2 摊写定量(journal 缓冲预算)
net-abstraction§5.6 M2+ 准入基准的设施化(本文 §5 形态 b);§4.2/§4.3 水位/限流触发率指标化;§5.8 环容量入内存表
scripting-lua§5.2 钩子预算入帧预算表;§6 Lua 状态上限数值化(64MB/状态)与 C++ 表并列
sdk-contract§10.6 量化口径统一(20Hz 旧口径 → 10Hz);:395 zstd 阈值基准化欠账在本文 P1 兑现
battle-determinism§4 确定性 RNG = 基准负载可复现的来源;§5 录制格式 = 回放负载格式;§8 P3 指标(分歧率/体积)接入
architecture-review16.8.3 归属判据的执行:apps/bench(聚合工具)↔ modules 检测原语两截;基准 golden 化与契约 golden 同哲学

基于 MIT 许可发布