概率论与数理统计笔记

1. 随机事件及其概率

随机试验，简称试验，记作 ​E。
能在相同条件下重复进行，能事先明确所有结果，试验之前不能确定哪个结果会出现。

• 样本点：​E 的一种可能结果，记作 ​\omega。
• 样本空间：​\omega 的全体，记作 ​\Omega。
• 随机事件：​\Omega 的子集，简称事件，通常记为 ​A, B, C \dots
• 基本事件：由一个样本点组成的事件。
• 必然事件：每次试验必然发生。
• 不可能事件：每次试验不可能发生。

事件间的关系

1. 子事件
   ​A \subset B：​A 发生，​B 必然发生。
2. 相等事件
   ​A = B：​A, B 互为子事件。
3. 和事件
   ​A \cup B：事件 ​A 和事件 ​B 的全部样本点组成的集合。​n 个事件的和记为：
   \bigcup_{i=1}^{n} A_i
4. 积事件
   ​A \cap B：既属于事件 ​A 又属于事件 ​B 的样本点组成的集合。​n 个事件的积记为：
   \bigcap_{i=1}^{n} A_i
5. 互斥事件
   ​A \cap B = \emptyset：​A 与 ​B 没有相同的样本点。
6. 对立事件
   ​A \cap B = \emptyset 且 ​A \cup B = \Omega：不是 ​A 发生就是 ​B 发生。
7. 差事件
   ​A - B 或 ​A\overline{B} 或 ​A - AB：属于事件 ​A 而不属于事件 ​B 的样本点组成的集合。

事件间的运算律

1. 交换律
2. 结合律
3. 分配律
4. 德·摩根律（对偶律）
5. 吸收律

古典概型与几何概型

1. 古典概型：样本空间有限且等可能。
2. 几何概型：样本空间无限（区域测度）且等可能。

概率公式

条件概率

若 ​P(A) > 0，在 ​A 发生的条件下，​B 发生的概率：

• 乘法公式：​P(AB) = P(B \mid A) P(A)
• 全概率性质：​P(\Omega) = P(A) + P(\overline{A}) = 1
• 差事件概率：​P(A - B) = P(A - AB) = P(A) - P(AB)
• 加法公式：​P(A + B) = P(A) + P(B) - P(AB)
• 容斥原理（​n 个任意事件的并）：
  P\left(\bigcup_{i=1}^n A_i\right) = \sum P(A_i) - \sum P(A_i A_j) + \sum P(A_i A_j A_k) - \dots + (-1)^{n-1} P(A_1 \dots A_n)

全概率公式

贝叶斯公式

事件的独立性

事件 ​A 和事件 ​B 相互独立：

• 推广：​n 个事件相互独立 ​\iff 对于任意 ​k(2 \le k \le n) 个事件，​P(A_{i_1} A_{i_2} \dots A_{i_k}) = P(A_{i_1}) P(A_{i_2}) \dots P(A_{i_k})。

​n 重独立试验：试验 ​E 重复做 ​n 次，且每次试验结果互不影响。
伯努利试验：试验结果只有两个（发生 ​A 或不发生 ​A）。
​n 重伯努利试验：在相同条件下进行的 ​n 次独立重复试验。

• 恰好发生 ​k 次的概率（二项概率）：
  n(k) = C_n^k p^k q^{n-k}, \quad (q = 1-p)
• 几何概率（前 ​k-1 次不中，第 ​k 次首次击中）：
  k) = q^{k-1}p

随机变量及其分布

• 随机变量：对于每一个样本点 ​\omega \in \Omega 都有唯一对应的值 ​X(\omega)，则称函数 ​X(\omega) 为随机变量。
• 离散型随机变量：取值有限个或可列无限多个。
• 分布函数：设 ​X 是一个随机变量，​x 是任意实数，函数 ​F(x) = P\{X \le x\} 称为 ​X 的分布函数。
  • 性质：非负性、单调不减性、规范性（​F(\infty)=1）、右连续性。
• 概率密度：对于连续型随机变量 ​X，其分布函数 ​F(x) = \int_{-\infty}^{x} f(t)dt，则称 ​f(x) 为其概率密度函数。
  • 性质：
    1. ​f(x) \ge 0
    2. ​\int_{-\infty}^{\infty} f(x)dx = 1
    3. ​P\{a < X \le b\} = \int_{a}^{b} f(x)dx
    4. 连续点处：​F'(x) = f(x)

常见的离散型分布

1. 退化分布：​P\{X = C\} = 1

2. 0-1 分布（两点分布）：​X \sim b(1, p)

3. 二项分布：​X \sim b(n, p)

   P\{X = k\} = C_n^k p^k (1-p)^{n-k}, \quad k = 0, 1, \dots, n

4. 泊松分布：​X \sim P(\lambda)

   P\{X = k\} = \frac{\lambda^k e^{-\lambda}}{k!}, \quad \lambda > 0

   二项近似：当 ​n 很大且 ​p 很小时，​\lambda = np。

常见的连续型分布

1. 均匀分布：​X \sim U[a, b]
   F(x) = \begin{cases} 0, & x < a \\ \frac{x-a}{b-a}, & a \le x \le b \\ 1, & x > b \end{cases}
2. 指数分布：​X \sim e(\lambda)
   F(x) = \begin{cases} 1 - e^{-\lambda x}, & x > 0 \\ 0, & x \le 0 \end{cases}
3. 正态分布：​X \sim N(\mu, \sigma^2)
   标准正态分布：​X \sim N(0, 1)。

随机变量函数的分布

1. 离散型：直接列出 ​g(X) 的所有可能取值及其概率。

2. 连续型：
   设 ​X 的密度为 ​f_X(x)，求 ​Y = g(X) 的分布：

   F_Y(y) = P\{g(X) \le y\} = \int_{g(x) \le y} f_X(x)dx

   若 ​g(X) 严格单调且导数不为 0，反函数为 ​h(y)：

   f_Y(y) = f_X(h(y)) |h'(y)|

多维随机变量及其分布

二维随机变量及其分布

• 联合分布函数：​F(x, y) = P\{X \le x, Y \le y\}。

• 联合概率密度：​F(x, y) = \int_{-\infty}^{y} \int_{-\infty}^{x} f(u, v) du dv。

• 性质：

  1. ​f(x, y) \ge 0
  2. ​\int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} f(x, y) dx dy = 1
  3. 若 ​f(x, y) 在点 ​(x, y) 处连续：
     \frac{\partial^2 F(x, y)}{\partial x \partial y} = f(x, y)

• 边缘分布：
  ​F_X(x) = F(x, +\infty)
  ​F_Y(y) = F(+\infty, y)

随机变量的独立性

​X, Y 相互独立 ​\iff F(x, y) = F_X(x)F_Y(y)。
对于连续型：​f(x, y) = f_X(x)f_Y(y)。