LDA-math-MCMC 和 Gibbs Sampling

COSeditor

https://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/

刘希亮

@rickjin兄，非常好的一篇文章，但似存在一处笔误：
“假设当前这一代人处在下层、中层、上层的人的比例是概率分布向量。。。”应该换成“假设当前这一代人处在上层、中层、下层的人的比例是概率分布向量 ”，这样就与转移概率矩阵P对应起来了，要不然两个表的计算结果均为错误，请考虑！

lxduan

定理：[细致平稳条件]中的数学推导证明公式重复。楼主是想把第二个等式后的\Sigma^\infty_{i=1}放在\pi(j)后面？

Random_z

忍不了了，写得太好了，呵呵

rickjin

谢谢！你看得真细致，是个笔误，已经修正了

rickjin

谢谢指正，文中有一处笔误。下层、中层、上层的定义在前后文中不一致。我修正了一下，主要是把开始处举例中的定义修正了，这样前后文就一致了。

danielruc91

想问一个问题，能不能举一两个例子什么时候“函数本身计算很困难，但是条件分布”。。
文章写得很清楚明白，非常直观~~谢谢~~

lxduan

好文章。期待后续。:)

以前学这些的时候，完全没有去好好理解来龙去脉。

bneliao

写得真好，原来看LDA老是不明白怎么把条件概率和gibbs sample联系起来的；这篇文章写得很清楚

chu-chuanhu90

楼主写的太好了，但是关于sampling的收敛少了一些介绍。
关于gibbs sampling的收敛，可以采用R^统计量。同时，可以多开几个chain进行模拟。判断收敛的时候，应该掐头去尾计算R^

关于怎样用gibbs sampling来计算lda的参数可以参考这篇论文
http://www.cs.nmsu.edu/~chu/InfDectection/ref/Gregor%20Heinrich_Parameter%20estimation%20for%20text%20analysis.pdf

rickjin

谢谢，关于 MCMC 收敛的检测我确实介绍的不多，这是一个缺陷。在工程实践中我们更多的靠经验和对数据的观察来指定 Gibbs Sampling 中的 burn-in 的迭代需要多少次。

LDA 模型的介绍是我下一个章节的内容

yihui

去年7月我们翻译了Charles Geyer的一篇文章： http://cos.name/2012/07/mcmc-case-study/ 这位老大个性很鲜明，他网站上有一个页面讲为什么burn-in不是必要的：
http://users.stat.umn.edu/~geyer/mcmc/burn.html 以及为什么一条链走到黑是正确的： http://users.stat.umn.edu/~geyer/mcmc/one.html

如果我没记错的话，他的一句名言就是关于MCMC到底跑多久：从你给刊物提交论文的时候就开始跑，直到审稿人把审稿意见发回来为止。

rickjin

非常感谢老大的专业点评，很受用。不过一条链跑到黑只能是写学术 paper 的做法，我们在工程上还是要考虑很实际的速度和效率的问题，做 LDA 的时候我们就得考虑每秒钟能处理多少个请求,这时候不得不设置 burn-in

yihui

嗨，这方面我完全是外行。坐等你后面的文章分享更多的知识和经验，最近这一系列都写得非常赞。

DigitalPig

请问楼主，你是工程上面哪方面的呢？能不能在后面的某篇文章简单介绍一下这些理论和Malkov过程在工程上面的应用么？多谢！

林风琦

请问楼主，马氏链收敛到pai(n)后，X(n), X(n+1), X(n+2)...都是同分布的随机变量，那么这个随机变量是怎样产生的呢？如果是已经稳态收敛了，那么之后用稳态矩阵相乘产生的任何数都应该是稳态了，应该怎样生成平稳分布的样本呢？谢谢楼主！

rickjin

马氏链跳转过程中就是采样的过程，马氏链任何一个时刻 i 到达的状态都 x_i 都是一个样本。只是要等到 i 足够大( i > K) ，马氏链收敛到平稳分布后, 那么 x_K, x_{K+1}, .... 这些样本就都是平稳分布的样本。你还得仔细理解一下文章的逻辑 :-)

林风琦

楼主，“马氏链收敛到平稳分布后, 那么 x_K, x_{K+1}, …. 这些样本就都是平稳分布的样本”，我主要是对这句话不太理解。因为到达平稳分布后，“ x_K, x_{K+1}”这些值都是相等的，因为不管怎样跳转都是平稳分布(固定的值)，固定的值怎么能算是采样呢？谢谢楼主哈~

NIRVANAN

讲得非常清楚，看完PRML再来看这篇文章，感觉清楚了很多

cyzhang

问一个问题:当按照文中介绍的构造方法把Q-->Q'后，还能保证Q'是一个转移矩阵吗？即Q'的每一行加和为1.