你好,游客 登录
背景:
阅读新闻

基于贝叶斯非参数模型的运动模式学习算法(一)背景知识丨狄利克雷分布

[日期:2016-11-25] 来源:知乎  作者: [字体: ]

作者:一个好人
链接:https://zhuanlan.zhihu.com/p/23920056
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

近期的文章会简要回顾狄利克雷过程的基本理论以及几个基本的基于狄利克雷过程的模型,后面说的几个模型都是由这些基本模型扩展而来。最终目的是对 Dual-HDP-HMM 进行改进,形成了粘性多模态狄利克雷过程隐马尔可夫模型(SMD-HDP-HMM),它比前者具有更宽的适用范围和更强的鲁棒性。

这种算法可在无监督或弱监督情况下对数据进行聚类,简单来说,它可以用来更好的帮助人们归纳、标注和检索视频内容。

今天先介绍构成狄利克雷过程的基础——狄利克雷分布。

狄利克雷分布(Dirichlet Distribution)是一个多维分布,一个 K维狄利克雷分布的参数是一个 维向量α = [

,. . . , 

]。狄利克雷分布的概率密度函数(Probability Density Function)是

1

其中

= (

, . . . ,

),0 ≤

≤ 1 且

= 1,Γ(·) 表示伽马函数(Gamma Function)。可以清晰地看到,公式 中包含伽马函数的部分是归一化因子。

为了方便起见,我们令

=

,同时把参数为

的狄利克雷分布简记为Dir(

)。当

= 2 时,狄利克雷分布被特称为贝塔分布(Beta Distribution)。 由于 0 ≤

≤ 1 且

= 1, 因此

是一个离散分布(Discrete Distribution)的参数。服从该分布的随机量

∈ {1, . . . ,

},且

取值为

的概率是

。离散分布的概率质量函数(Probability Mass Function)为

2

其中

是狄拉克函数(Dirac Function),其定义为

3

我们把参数为

的离散分布记为 Dis(

)。如果我们从 Dis(

) 中采样 N 次,把取值为

的样本个数记为

,那么随机变量

= [

, . . . ,

] 服从参数为 N和

的多项式分布(Multinomial Distribution),其概率质量函数为

4

我们把参数为 N 和

的多项式分布记为 Mul(N,

)。

狄利克雷分布 Dir(

) 适合作为离散分布 Dis(

) 和多项式分布 Mul(N,

)中参数

的先验分布,下面我们可以看到这种做法的好处。当我们观察到从离散分布中采样的 N 个样本

:N,且取值为 k 的样本数为

时,利用公式 1和 4,我们可以推导出

的后验分布:

5

我们比较公式 5 右边与公式 1 右边除去归一化因子的部分,可以发现它们具有相同的数学形式。由此我们可以知道,

的后验分布是一个以

+

, . . . ,

+

为参数的狄利克雷分布,令

=

+

,该分布可记为Dir(

, . . . ,

)。

由于

的先验分布和后验具有相同的表达式形式,我们称狄利克雷分布是离散分布和多项式分布的共轭先验(Conjugate Prior)。当我们观察到更多的样本

+1:

时,只需更新后验

分布的参数便可以得到新的后验分布Dir(

+

, . . . ,

+

),其中

=

,完全不需要使用原先观察到的样本

:N。我们还可以从中发现狄利克雷分布的参数

的意义:

表示已经观察到的样本中属于类别

的样本个数,

表示已经观察到的样本总数。另外,Dir(

, . . . ,

) 的均值为

6

当 N 趋近于无穷大时,

趋近于

,即

的最大似然估计。如果

= (

, . . . ,

),那么

的方差为

7

我们可以看出 Var[

] 反比于

+ 1,因此,

被称为精度参数。

使用狄利克雷分布作为先验,我们还可以方便地在不估计分布

的情况下预测未来样本的分布:

8

上式被称为

+1的预测似然(Predictive Likelihood)。

我们可以看到,使用共轭先验可以使计算方便。事实上,除了狄利克雷分布和离散分布/多项式分布以外,还有许多共轭分布对,它们大多数属于指数分布族(Exponential Family)。

收藏 推荐 打印 | 录入:admin | 阅读:
相关新闻      
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款