LDA-math-MCMC 和 Gibbs Sampling

[未知用户] 谢谢， 关于 MCMC 收敛的检测我确实介绍的不多，这是一个缺陷。 在工程实践中我们更多的靠经验和对数据的观察来指定 Gibbs Sampling 中的 burn-in 的迭代需要多少次。

LDA 模型的介绍是我下一个章节的内容

[未知用户] 去年7月我们翻译了Charles Geyer的一篇文章： http://cos.name/2012/07/mcmc-case-study/ 这位老大个性很鲜明，他网站上有一个页面讲为什么burn-in不是必要的：
http://users.stat.umn.edu/~geyer/mcmc/burn.html 以及为什么一条链走到黑是正确的： http://users.stat.umn.edu/~geyer/mcmc/one.html

如果我没记错的话，他的一句名言就是关于MCMC到底跑多久：从你给刊物提交论文的时候就开始跑，直到审稿人把审稿意见发回来为止。

[未知用户] 非常感谢老大的专业点评，很受用。不过一条链跑到黑只能是写学术 paper 的做法， 我们在工程上还是要考虑很实际的速度和效率的问题，做 LDA 的时候我们就得考虑每秒钟能处理多少个请求,这时候不得不设置 burn-in

[未知用户] 嗨，这方面我完全是外行。坐等你后面的文章分享更多的知识和经验，最近这一系列都写得非常赞。

请问楼主，你是工程上面哪方面的呢？能不能在后面的某篇文章简单介绍一下这些理论和Malkov过程在工程上面的应用么？多谢！

请问楼主，马氏链收敛到pai(n)后，X(n), X(n+1), X(n+2)...都是同分布的随机变量，那么这个随机变量是怎样产生的呢？如果是已经稳态收敛了，那么之后用稳态矩阵相乘产生的任何数都应该是稳态了，应该怎样生成平稳分布的样本呢？谢谢楼主！

[未知用户] 马氏链跳转过程中就是采样的过程， 马氏链任何一个时刻 i 到达的状态都 x_i 都是一个样本。 只是要等到 i 足够大( i > K) ， 马氏链收敛到平稳分布后, 那么 x_K, x_{K+1}, .... 这些样本就都是平稳分布的样本。你还得仔细理解一下文章的逻辑 :-)

[未知用户] 楼主，“马氏链收敛到平稳分布后, 那么 x_K, x_{K+1}, …. 这些样本就都是平稳分布的样本”，我主要是对这句话不太理解。因为到达平稳分布后，“ x_K, x_{K+1}”这些值都是相等的，因为不管怎样跳转都是平稳分布(固定的值)，固定的值怎么能算是采样呢？谢谢楼主哈~

讲得非常清楚，看完PRML再来看这篇文章，感觉清楚了很多

问一个问题:当按照文中介绍的构造方法把Q-->Q'后，还能保证Q'是一个转移矩阵吗？即Q'的每一行加和为1.

[未知用户] Hi, 很抱歉， 那是一个漏洞， 有人和我讨论了。 当 j != i 的时候概率Q'(i, j) 就是文中如上处理， 不过当 j = i 的时候， Q'(i, i) 应该特殊处理。 应该设置

Q'(i, i) = 1- 其它概率之和

这样就归一化了概率转移矩阵

作者写的是挺详细的，美中不足的是没有举一个实际的例子来用在MCMC,MCMH,Gibbs中，比如在MCMC中，我个人认为，只知道统计意义上的概率分布P（x），而并不知道转移矩阵Q(对应元素为q(i,j)) ，如何推进算法？或者说我的理解有错误。希望作者能够补充举例说明一下。

无意中发现这是一个很好的网站，值得收藏。

朋友再来点提议分布的知识就更完整了，我看过的最清晰地MCMC，楼主厉害。

实际问题中条件概率是怎么计算的啊，是已知的吗？

在3.2中，为什么Q(A->D)=0？这个看得不太懂~

哦~明白了，是我们使Q(A->D)=0的，不好意思，一下子没明白过来~
PS：楼上的问题可以不用回答我啦~谢谢你的讲解，很不错~

您好，版主
咨询一下，不知道我是否没有看懂，如果x1-xn 都互相独立， 那你这个Gibbs采样还有没有意义

[未知用户] 不好意思，脑子一时搞不清楚，p(x i |x 1 ,⋯,x i−1 ,x i+1 ,⋯,x n ) 如果x1-xn都互不相关的话，不是p(x i |x 1 ,⋯,x i−1 ,x i+1 ,⋯,x n ) = p(xi). 现在我在解决的问题是这样的，现在有n维的gauss分布作为输入，而又有m维的输出，那么每一维的输出可以看作是p(x1,...xn)的函数.我是否可以用Gibbs采样去模拟这个过程吗，如果可以，请指教，请恕在下愚钝，谢谢

叶兄，
1）如何判断第一次迭代到达稳态分布？
2）请问你所谓的第二次迭代如何实现？