https://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/

@rickjin兄，非常好的一篇文章，但似存在一处笔误： “假设当前这一代人处在下层、中层、上层的人的比例是概率分布向量。。。”应该换成“假设当前这一代人处在上层、中层、下层的人的比例是概率分布向量 ”，这样就与转移概率矩阵P对应起来了，要不然两个表的计算结果均为错误，请考虑！

定理：[细致平稳条件]中的数学推导证明公式重复。楼主是想把第二个等式后的\Sigma^\infty_{i=1}放在\pi(j)后面？

忍不了了，写得太好了，呵呵

[未知用户] 谢谢！你看得真细致，是个笔误，已经修正了

[未知用户] 谢谢指正，文中有一处笔误。下层、中层、上层的定义在前后文中不一致。我修正了一下，主要是把开始处举例中的定义修正了，这样前后文就一致了。

想问一个问题，能不能举一两个例子什么时候“函数本身计算很困难，但是条件分布”。。文章写得很清楚明白，非常直观~~谢谢~~

[未知用户] 好文章。期待后续。:) 以前学这些的时候，完全没有去好好理解来龙去脉。

写得真好，原来看LDA老是不明白怎么把条件概率和gibbs sample联系起来的；这篇文章写得很清楚

楼主写的太好了，但是关于sampling的收敛少了一些介绍。关于gibbs sampling的收敛，可以采用R^统计量。同时，可以多开几个chain进行模拟。判断收敛的时候，应该掐头去尾计算R^ 关于怎样用gibbs sampling来计算lda的参数可以参考这篇论文 http://www.cs.nmsu.edu/~chu/InfDectection/ref/Gregor%20Heinrich_Parameter%20estimation%20for%20text%20analysis.pdf

[未知用户] 谢谢，关于 MCMC 收敛的检测我确实介绍的不多，这是一个缺陷。在工程实践中我们更多的靠经验和对数据的观察来指定 Gibbs Sampling 中的 burn-in 的迭代需要多少次。 LDA 模型的介绍是我下一个章节的内容

LDA-math-MCMC 和 Gibbs Sampling

pudding-604651231

很精彩的讲解~请问楼主对于Gibbs Sampling和Slice Sampling（我想连续采样M个点）的关系怎么看呢，感觉后一个可以用前一个证明的方法推出来的样子……

rickjin

[未知用户] Hi, 很抱歉，那是一个漏洞，有人和我讨论了。当 j != i 的时候概率Q'(i, j) 就是文中如上处理，不过当 j = i 的时候， Q'(i, i) 应该特殊处理。应该设置

Q'(i, i) = 1- 其它概率之和

这样就归一化了概率转移矩阵

hkx

作者写的是挺详细的，美中不足的是没有举一个实际的例子来用在MCMC,MCMH,Gibbs中，比如在MCMC中，我个人认为，只知道统计意义上的概率分布P（x），而并不知道转移矩阵Q(对应元素为q(i,j)) ，如何推进算法？或者说我的理解有错误。希望作者能够补充举例说明一下。

无意中发现这是一个很好的网站，值得收藏。

toughBEE

朋友再来点提议分布的知识就更完整了，我看过的最清晰地MCMC，楼主厉害。

suhuijiewu

实际问题中条件概率是怎么计算的啊，是已知的吗？

lee-76284997

在3.2中，为什么Q(A->D)=0？这个看得不太懂~

lee-76284997

哦~明白了，是我们使Q(A->D)=0的，不好意思，一下子没明白过来~
PS：楼上的问题可以不用回答我啦~谢谢你的讲解，很不错~

wwh05022

您好，版主
咨询一下，不知道我是否没有看懂，如果x1-xn 都互相独立，那你这个Gibbs采样还有没有意义

wwh05022

[未知用户] 不好意思，脑子一时搞不清楚，p(x i |x 1 ,⋯,x i−1 ,x i+1 ,⋯,x n ) 如果x1-xn都互不相关的话，不是p(x i |x 1 ,⋯,x i−1 ,x i+1 ,⋯,x n ) = p(xi). 现在我在解决的问题是这样的，现在有n维的gauss分布作为输入，而又有m维的输出，那么每一维的输出可以看作是p(x1,...xn)的函数.我是否可以用Gibbs采样去模拟这个过程吗，如果可以，请指教，请恕在下愚钝，谢谢

wwh05022

叶兄，
1）如何判断第一次迭代到达稳态分布？
2）请问你所谓的第二次迭代如何实现？

naively

写得很棒的一个系列文章。
期待楼主把pdf发出来，供珍藏，哈哈。
原来对这mcmc这一块一知半解的，感谢你的提炼，
让我有了更准确的理解。
如果可以，楼主能不能把这个系列的文章pdf发给我啊，
friday_wu@126.com

yy-itofyy

Algorithm 8中的第2步的第6小步，x2(t)是否应为x2(t+1)呢？

DL_Researcher

博主您好！请问实践中如何知道Gibbs sampling中的那些条件概率呢？

DPM-890765173

跪舔.....

dcd

到达平稳分布后，“ x_K, x_{K+1}”所服从的分布是相同的，具体每一步转移到那个状态值，还是有随机的，就是说马氏链是随机序列，这也正是对平稳分布的随机取样，只不过是达到平稳分布后转移概率矩阵已不再变化而已。

dddd604

写的真好啊！

1liusai253@163.com

忍不住点赞

lianjx

细致平稳条件是达到稳态的充分条件，并不是必要条件。

suruoxi

写得非常好，在网上很少看到这样精彩的数学基础文章。尤其是对于我这一类的工科学生，很多文章的介绍太简单了，这篇就非常棒

sty1882

[未知用户] 你好，和林风琦的问题一样还是不明白。。。