Redis Streaming
首页
快速开始
  • 核心 API
  • Runtime
  • Config
  • State
  • Checkpoint
  • Watermark
  • Window
  • Source & Sink
  • Reliability
  • Registry
  • MQ
  • 架构设计
  • Exactly-Once
  • MQ 设计
  • Registry 设计
  • 部署指南
  • 性能调优
  • 故障排查
GitHub
首页
快速开始
  • 核心 API
  • Runtime
  • Config
  • State
  • Checkpoint
  • Watermark
  • Window
  • Source & Sink
  • Reliability
  • Registry
  • MQ
  • 架构设计
  • Exactly-Once
  • MQ 设计
  • Registry 设计
  • 部署指南
  • 性能调优
  • 故障排查
GitHub
  • 快速开始

    • 5分钟上手
    • Spring Boot 集成
  • 核心概念

    • 架构概述
    • 核心 API
    • 运行时环境
  • 基础设施模块

    • Config 配置中心
    • Registry 服务注册
    • MQ 消息队列
  • 流处理核心

    • State 状态管理
    • Checkpoint 检查点
    • Watermark 水位线
    • Window 窗口
  • 数据集成

    • Source & Sink
    • CDC 变更捕获
    • Aggregation 聚合
    • Table 表操作
    • Join 流连接
  • 可靠性

    • Reliability 组件
    • Metrics 监控
  • 设计文档

    • Exactly-Once 语义
    • MQ 设计
    • Registry 设计
  • 运维

    • 部署指南
    • 性能调优
    • 故障排查
    • CI/CD
  • 开发

    • 开发指南
    • 测试指南
    • 发布流程

性能与调优(Performance)

分区与吞吐

  • P 个分区可近似线性提升吞吐(取决于 CPU/实例与 Redis 容量);单分区内串行保证顺序
  • Redis Cluster 下,不同分区键分散到不同 slot,有利于水平扩展
  • 热点隔离:热点 key 只堵在其分区,不影响其他分区

建议设置

  • Producer:必要时批量 XADD/pipeline;谨慎控制消息大小
  • Consumer:COUNT > 1,BLOCK 100~500ms;限制单 worker in-flight 条数(如 100~1000)
  • 重试:指数退避 + 抖动,避免重试风暴;使用 ZSET + Lua 搬运(已默认)
  • 保留:XTRIM MAXLEN ~ N 控制内存;结合时间边界(MINID)清理

Runtime 调优要点(Redis runtime)

  • 并行度:RedisRuntimeConfig.pipelineParallelism(n)(单进程子任务)+ 多实例(同 consumer group)水平扩展
  • 背压:MqOptions.maxInFlight(n)(全局并发上限)+ workerThreads(执行线程数)
  • 线程资源:timerThreads(processing-time timers)/checkpointThreads(checkpoint 调度/执行)
  • 队列容量:eventTimeTimerMaxSize(event-time timer 队列上限,防止无界增长)
  • Window:windowMaxFiresPerRecord(每条消息最多 fire N 个窗口,避免单条消息拖垮延迟)
  • Watermark:watermarkOutOfOrderness(乱序容忍,影响窗口触发延迟与迟到判定)

压测建议

  • 使用接近真实的 payload;分别测 P、batchSize、并行度的影响
  • 关注指标:生产/消费速率、p99 处理延迟、DLQ 速率、Redis CPU/内存/网络

取舍

  • 分区越多并行越强,但总 PEL/worker 也增加;结合硬件与负载选择合适 P
  • 批越大吞吐越高,但单次延迟与内存占用也会提高

更多原理与实现细节见 MQ-Design.md 与 MQ-Broker-Interaction.md。

Edit this page
最近更新: 2026/1/1 13:26
Contributors: cuihairu
Prev
部署指南
Next
故障排查