概率论基础

10.1 概率的基本概念

定义

  • 概率论是研究随机事件及其规律性的数学分支。它描述了事件发生的可能性，并通过概率来量化这种可能性。

概率空间

  • 样本空间（Sample Space）：所有可能结果的集合，记作 ( S )。
  • 事件（Event）：样本空间的一个子集。事件可以是一个单一结果，也可以是多个结果的集合。
  • 概率（Probability）：事件发生的可能性，取值在 [0, 1] 之间。

概率的公理

  • 非负性：对于任何事件 ( A )，有 ( P(A) \geq 0 )。
  • 归一性：样本空间的概率为 1，即 ( P(S) = 1 )。
  • 可加性：如果事件 ( A ) 和事件 ( B ) 是互斥的（即 ( A \cap B = \emptyset )），那么 ( P(A \cup B) = P(A) + P(B) )。

10.2 条件概率与独立性

条件概率

  • 条件概率是指在事件 ( B ) 已经发生的条件下事件 ( A ) 发生的概率，记作 ( P(A|B) )： [ P(A|B) = \frac{P(A \cap B)}{P(B)} ] 条件概率的前提是 ( P(B) > 0 )。

独立性

  • 事件 ( A ) 和事件 ( B ) 是独立的，当且仅当 ( P(A \cap B) = P(A) \cdot P(B) )。
  • 对于独立事件 ( A ) 和 ( B )，有 ( P(A|B) = P(A) ) 和 ( P(B|A) = P(B) )。

10.3 随机变量与分布

随机变量

  • 随机变量是一个将样本空间的每个结果映射到实数的函数。随机变量可以是离散的或连续的。
    • 离散随机变量：取有限个或可数无限个值。例如，掷骰子的点数。
    • 连续随机变量：可以取任意实数值。例如，人的身高。

概率分布

  • 离散概率分布：描述离散随机变量的每个可能值及其对应的概率。例如，掷骰子的概率分布是： [ P(X = x) = \frac{1}{6} \quad \text{对于} \ x \in {1, 2, 3, 4, 5, 6} ]
  • 连续概率分布：通过概率密度函数（PDF）来描述。例如，正态分布的概率密度函数为： [ f(x) = \frac{1}{\sqrt{2 \pi \sigma^2}} e^{-\frac{(x - \mu)^2}{2 \sigma^2}} ] 其中，( \mu ) 是均值，( \sigma^2 ) 是方差。

期望与方差

  • 期望（Expected Value）：随机变量的加权平均值，表示随机变量的中心位置。离散随机变量的期望计算为： [ E(X) = \sum_{i} x_i \cdot P(X = x_i) ] 连续随机变量的期望计算为： [ E(X) = \int_{-\infty}^{\infty} x \cdot f(x) , dx ]
  • 方差（Variance）：随机变量与其期望值之间的平方差的期望，表示随机变量的离散程度。计算公式为： [ \text{Var}(X) = E[(X - E(X))^2] ] 方差的平方根称为标准差（Standard Deviation）。

10.4 常见概率分布

离散分布

  • 伯努利分布：描述只有两个可能结果（成功或失败）的随机实验。概率质量函数为： [ P(X = 1) = p, \quad P(X = 0) = 1 - p ]
  • 二项分布：描述进行 ( n ) 次独立伯努利试验中成功的次数。概率质量函数为： [ P(X = k) = \binom{n}{k} p^k (1 - p)^{n - k} ]
  • 泊松分布：描述单位时间或单位空间内事件发生的次数。概率质量函数为： [ P(X = k) = \frac{\lambda^k e^{-\lambda}}{k!} ]

连续分布

  • 均匀分布：描述随机变量在某一范围内均匀分布。概率密度函数为： [ f(x) = \frac{1}{b - a}, \quad \text{对于} \ a \leq x \leq b ]
  • 正态分布：描述许多自然现象的分布，形状为钟形曲线。其概率密度函数为： [ f(x) = \frac{1}{\sqrt{2 \pi \sigma^2}} e^{-\frac{(x - \mu)^2}{2 \sigma^2}} ]
  • 指数分布：描述事件之间的时间间隔。概率密度函数为： [ f(x) = \lambda e^{-\lambda x}, \quad \text{对于} \ x \geq 0 ]

10.5 大数法则与中心极限定理

大数法则

  • 大数法则表明，当进行大量独立的随机实验时，样本均值会趋近于期望值。常见的形式有弱大数法则和强大数法则。

中心极限定理

  • 中心极限定理表明，对于独立同分布的随机变量，其和的分布趋近于正态分布，即使原始分布不是正态分布。这在样本量足够大的情况下尤其适用。

例子

  • 实际应用：在金融市场中，中心极限定理可以用来估计资产收益的分布。
  • 调查研究：在社会科学调查中，大数法则用于预测样本均值接近总体均值。

概率论是分析随机现象的基础，广泛应用于统计学、金融、工程、科学研究等领域。掌握概率论的基本概念和定理对于理解和解决实际问题非常重要。