Abstract: 补充一些贝叶斯相关知识，自己也忘了。

基本理解

贝叶斯估计（Bayesian Estimation）是基于贝叶斯定理的一类参数估计方法。它与传统的频率派方法不同，通过整合先验信息和观测数据来更新对未知参数的信念，并给出相应的后验分布，从而获得参数的估计。

贝叶斯定理与后验分布

贝叶斯定理 描述了如何利用观测数据来更新我们对未知参数的信念。贝叶斯定理可以表述为： $$ P(\theta | X) = \frac{P(X| \theta) P( \theta )}{P(X)} $$

• $P(\theta | X)$为后验分布，表示在观测数据$X$的基础上，参数$\theta$的概率分布。
• $P(X | \theta)$为似然函数，表示在给定参数$\theta$下观测数据的概率。
• $P( \theta )$为先验分布，表示在没有数据时我们对参数$\theta$的先验信念。
• $P(X)$为证据项（也称为边际似然），其作用是归一化常数，确保后验分布的总概率为 1。

$P(A)$叫事件$A$发生的概率 ，可称为先验概率 or边缘概率

$P(A|B)$叫条件概率 ：在$B$发生的情况下$A$发生的可能性。由于$A$被$B$的取值所决定，所以也叫$A$的后验概率

举例

抄一个例子来算一笔

已知有一种疾病，发病率是0.1%。针对这种疾病的测试非常准确：

• 如果有病，则准确率是99%（即有1%未检出阳性）；
• 如果没有病，则误报率是2%（即有2%误报为阳性）。

现在，如果一个人测试显示阳性，请问他患病的概率是多少？

解：

• 公式里要求解的是$P(\theta | X)$，此时$\theta$ 表示生病， $X$表示阳性。
• $P( \theta )$表示这个病的发病概率 0.1％
• $P(X)$表示检测出阳性的概率，暂且放着，比较复杂
• $P(X | \theta)$表示如果患病了，检测出阳性的概率，显然是99%

看一下$P(X)$：

• 假设样本量是100,000人，可知有 100,000*0.1%=100 个病人，99,900个健康人
• 100个病人中，检测出阳性的有99，阴性为1
• 99900测试中，阳性有2%，有1998人，另外98% 97902人为阴性
• 所以$P(x)=(1998+99)/100,000 = 2.097/100$
• 抽象为数学公式，设样本总量为$m$：

$$ P(X)=\frac{mP(\theta)P(X | \theta)+ m(1-P(\theta))P(X | \hat{\theta})}{m} $$

$$ P(X)=(0.1 * 99 + 99.9 * 2)/10000 = 0.02097 $$

Last modified on 2026-01-29