当前位置：首页 > 编程日记 > 正文

贝叶斯定理——数学之美

编程日记 2024-10-11 05:30:00

1.贝叶斯定理

1.1 定义：描述在已知一些条件下，某事件的发生概率

贝叶斯定理是关于随机事件A和B的条件概率的一则定理。

1.2 公式理解

$=\frac{ P(x)P(y|x)}{P(y)}$
其中x以及y为随机事件，且 $P (y)$ 不为零。 $P (x ∣ y)$ 是指在y事件发生的情况下,x事件发生的概率。
其中:
$P (x ∣ y)$ 是已知y发生后，x的条件概率。也称作x的后验概率。
$P (x)$ 是x的先验概率（或边缘概率）。其不考虑任何y方面的因素。即x与y相互独立
$P (y ∣ x)$ 是已知x发生后，y的条件概率。也可称为y的后验概率。
$P (y)$ 是y的先验概率。

贝叶斯定理可表述为：

后验概率 = (似然性*先验概率)/标准化常量
也就是说，后验概率与先验概率和相似度的乘积成正比。

2.贝叶斯理论推导(从条件概率)

2.1 推到

根据条件概率的定义。在事件y发生的条件下事件x发生的概率是：

$P(x∣y)=P(x∩y)P(y)P(x|y)=\frac{P(x \cap y)}{P(y)}$

其中 A与B的联合概率表示为 $\cap y)$ 或者 $p (x, y)$ 或者 $p (x y)$ 。

同样地，在事件x发生的条件下事件y发生的概率

$P(y∣x)=P(y∩x)P(x)P(y|x)=\frac{P(y \cap x)}{P(x)}$

联立可得

$\cap y)} = P(y|x){P(x)}$ 若 $\neq 0$ 则

$=\frac{ P(x)P(y|x)}{P(y)}$ 得证

2.2 贝叶斯理论的推广

$\frac{P(x, y, z)}{P(y, z)}$

$\frac{P(x, y, z)}{{P(y)} P(z| y)}$

$\frac{P(z| x, y) P(x,y)}{{P(y)} P(z| y)}$

$\frac{{P(x) P(y| x) P(z|x,y)}}{{P(y)} P(z| y)}$

一般化的方法则是利用联合概率去分解待求的条件概率，并对不加以探讨的变量积分（意即对欲探讨的变量计算边缘概率）。取决于不同的分解形式，可以证明某些积分必为1，因此分解形式可被简化。利用这个性质，贝叶斯理论的计算量可能可以大幅下降。贝叶斯网络为此方法的一个例子，贝叶斯网络指定数个变量的联合概率分布的分解型式，该概率分布满足下述条件：当其他变量的条件概率给定时，该变量的条件概率为一简单型式。

3 贝叶斯公式理解实例

3.1 通过开车过程中对十字路口来理解贝叶斯公式

在这里插入图片描述
$=\frac{ P(A)P(B|A)}{P(B)}$

在这里插入图片描述
因此贝叶斯公式实际上阐述了这么一个事情：

新信息出现后对A事件的概率预测 = A事件的鲜艳概率 * 新信息带来的调整

我们再通过韦恩图来理解一下这个事情（为了观看方便，下面的A,B的圆形面积是示意）：
在这里插入图片描述

新的信息的出现，比如之前看到了亮着右转弯灯的车，就好比知道点已经落入了B。

3.2 实例理解贝叶斯公式小结

可以看到，有形的十字路口，却看不到明天是否下雨，我们可以看到前方是否有路障，却不清楚下一次飞机是否会出事。甚至有时候，眼睛还会欺骗我们。
很多时候，我们不得不看着后视镜开车，这个时候概率论、贝叶斯定理就是我们的指路明灯。
看着后视镜开车，肯定常常会撞车，没关系，我们可以不断的去修正我们的假设。
比如，撞了几次车之后，就发现可能之前估计的在十字路口打右转弯灯的数据明显偏大了，我们修正之后再继续开车。我们人类的学习，本身也是一个试错的过程。

参考资料

数学之美番外篇：平凡而又神奇的贝叶斯方法
概率机器人
如何理解贝叶斯定理？
数学之美番外篇：平凡而又神奇的贝叶斯方法

https://www.dkcj.cn/info/22530.html