作为Monte Carlo方法的学习者(刚入门),以下是个人的几点认识:
1.MCMC在Monte Carlo中占很大一部分。除了MCMC,Monte Carlo还包括Sequential Monte Carlo(SMC)等方法。
2.普通的MC(有人称其为Independent MC)的样本是i.i.d的;而在MCMC中,样本不是独立的,其极限分布为sampling distribution,在有限样本下,得到的样本只是approximately而非exactly服从sampling distribution。
个人所知的Monte Carlo的几个主要应用有:
1.Latent Variable Models(包括HMM,Missing data,Markov-switching,SV等类模型)。在这类模型中,经常用SMC、MCMC来进行filtering,smoothing和参数估计,比如Particle filter和Sequential imputations等具体形式。
2.Bayesian Analysis,包括Nonparametric Bayes,Bayes factor等问题。贝叶斯计算中涉及到大量的积分运算,而MC无疑是一个强有力的工具。
3.MC Integtation,在EM算法和MLE估计中,使用Monte Carlo integration来计算expetation, likelihood, score vector和Fisher information matrix等。