Probabilistic Graphical Models (3)

该部分描述了推断 (Reasoning Patterns)概率流 (Flow of Probabilistic Influence)的相关内容。

#

推断 (Reasoning Patterns)

Reasoning Patterns,即推断,就是根据已知条件,来判断或者得到未知的信息。推断回答了如何使用 PGM。比如我们想知道,当 $E=e$ 时,事件 A 的概率分布,即求后验概率分布。

推断有三种,分别是因果推断,证据推断,交叉推断。

因果推断

在 PGM 中,通常用边表示关系,贝叶斯网络中,有向边的起始就是因,结束就是果。比如学生例子中,智商低,课程难,那么就很容易得到低分,低分又会导致拿不到好的推荐信。这可以通过概率计算表现出来,可以看到因果推断是按照贝叶斯网络中箭头的方向进行推断的。

证据推断

即根据结果,推断可能的原因,在贝叶斯网络中逆向推断。比如,学生得到了较低的 SAT 分数,那么他智力不高的可能性就上升了。

交叉因果推断

假设学生课程成绩很低,但是课程同时很难,那么课程同时很难这个信息会传播到智力节点,根据这两个信息,推断导致学生智力高的概率有略微升高。

我们可以隐约的感觉到,在贝叶斯网络中,似乎存在着某种流动,在各个节点中,一个节点的变化,随着流动,传播影响着别的节点,这就是接下来要介绍的:Flow of Probabilistic Influence.

概率影响的流动 (Flow of Probabilistic Influence)

根据概率影响的流动,我们可以判定出随机变量之间的独立性。独立性和依赖性是很重要的两个属性。

根据公开课中的例子,考虑随机变量 X,W,Y。我们来讨论什么情况下,X 可以 影响 Y。

显然如果在贝叶斯网络中,X 与 Y 之间有边,无论箭头指向如何,他们都不是相互独立的。

讨论集中在 X 和 Y 中如果有中间随机变量 W,那么他们之间会如何影响。要分 W 是否被观测分别讨论。

  • W 没被观测
  • $X \to W \to Y$ ✔
  • $X \gets W \gets Y$ ✔
    显然这两种情况是可以的
  • $X \gets W \to Y$ ✔
    这种情况,举个例子,就是智力(I)和课程分数(G)以及 SAT 分数(S)之间的关系,当智力未知的时候,SAT 分数高,我们会自然而然的认为智力高,从而导致获得课程分数高的可能性增大。反之同理。
  • $X \to W \gets Y$ ✘
    这是课程难度(D),智力(I),与课程分数(G)的关系。如果课程难度升高,在得分未知的情况下,我们没有任何理由去可靠的推理智力是怎么样的。
  • W 被观测
  • $X \to W \to Y$ ✘
  • $X \gets W \gets Y$ ✘
    这两种情况中,结果无论是 X 还是 Y 都只能由 W 影响。
  • $X \gets W \to Y$ ✘
    这种情况,虽然 SAT 分数很高,但是由于智力被观测到了,假设很低,所以分数受到智力低的影响,低分概率会增大。SAT 分数高可能是其他未知因素影响的。
  • $X \to W \gets Y$ ✔
    这种情况下刚好相反。因为课程分数(G)被观测了,假如难度(D)大,那么可能智商就不太高,反之同理。
    根据这些不同结构的独立性,可以定义 Active Trial (激活轨迹)。感性的理解就是可以传播影响的路线。不同的结构之间可以相互组合,激活连通性可以类推。