gaolei gibbs采样和MH算法是MCMC的两种算法,用来分析贝叶斯分析的后验分布。MH算法在1973年就得到了完善,而gibbs采样在1980s中期才出现。相对于MH算法,gibbs采样的突出优势在哪呢?是不是gibbs采样能够对写不出解析形式的后验分布函数采样? 贝叶斯分析的后验分布一定能写出解析形式吗?有没有写不出来的情况?写不出来的话用什么工具处理呢? 问题有点多了,可能没说到点子上,谢谢关注!
yihui 要是后验分布一定能写出解析形式(先验乘似然那不算解析形式吧),做贝叶斯的人五一国庆都可以休十四天,过年再单放一个月假,频率学派都要加班。 我作为贝叶斯民科的理解是,Gibbs需要所有的全条件分布,这一点可能有点太理想了,当然如果条件分布都知道,那抽样就没什么悬念了。MH抽样跑近了可能半天还没跑出一个山头,跑远了又容易被拒绝,变成原地踏步走。 期待Hamiltonian MC一统天下吧,看起来非常江南Style: http://youtu.be/Vv3f0QNWvWQ (有墙,小心磕头)
enthumelon 回复 第2楼 的 谢益辉:HMC 参数选取是个大问题。弄不好连遍历性都没有了--当然这也可以叫做天下没有免费午餐定理。现在一堆一堆的算法都在弄这个,还有弄到什么黎曼表面上的--我只能说物理学太差,没太想明白为啥这么想。 回复 第1楼 的 gaolei:写不出可以Gibbs套MH或者用比如ARS啥的。优势在于若能写成Gibbs,那个接受率是1诶。MH的话,proposal function是个大问题,MHC可以看成一种很好的选取Proposal的办法。
gaolei 回复 第2楼 的 谢益辉:回复 第3楼 的 enthumelon:是不是说,为了分析方便起见,我们设计的贝叶斯模型大多都是可以直接写出后验分布函数的?这里,我理解“直接写出”的意思,是后验分布函数是显示表达的,里面没有积分符号之类的。 我看Learnbayes包里的rwmetrop()和gibbs()这两个MCMC函数,都需要首先定义好后验分布,然后扔进去就能跑出结果结果来。如果后验分布都写不出来,就扔不进去了是不是?
yihui 回复 第3楼 的 enthumelon:HMC我纯粹是外行,那个能量守恒(动能和势能)的概念迷迷糊糊大概明白是怎么回事,后来我看Stan搞的也是某个版本(No U-turn)的HMC。因为上课从来没学过也从没提过这玩意儿,就觉得它还挺神奇的,不知道里面到底有多大的坑。