rtist
比如想估计某方差,可是method of moment估计值却是负的;
或者想估计某个概率,可是得到的估计值却不在0和1之间。
请问这个时候大家都是怎么处理的?
ninghe524
好像某个事件的概率不在0和1之间就一定是算错了。不过你说的“估计”就不知道了。
rtist
也就是说,很多estimator并不保证一定在参数空间内得到解。估计概率也是一样,可能estimator是consistent的,但是小样本得到的估计值并不一定在参数空间内。很难说对与错,它是estimator自身的性质。
问题是真碰上了这种情况该怎么办?
ypchen
找其他的估计方法
cran
cran
补充一下,我们一般说得CI是Wald CI,但是更多时候likelihood ratio更准确点。
当然还有的就是wald t-test,和likelihood ratio test了。
rtist
比如说reml估计variance components,likelihood只能在方差为负数里面才有极大值的话,MLE就会在boundary上,或者根本不在参数空间内啊,regularity conditions都不满足啊。CI还可以不包括MLE么?
bootstrap
不大明白lz的问题.
方差估计的结果往往取决于你所选择的估计量的形式.
如果是通过数值方法进行求解,
则需要对程序进程进行追踪.
如果现有软件不能处理某一特定问题(在富于原创性的研究中常出现这种情况)
用相对底程的代码进行编程是必不可少的(比如C, 能写出高效的代码用于数值模拟)
to rtist: 即使当 Likelihood只能在方差为负时才取到极大值, MLE也未必在边界上.
rtist
[quote]引用第7楼bootstrap于2007-03-19 10:30发表的“”:
to rtist: 即使当 Likelihood只能在方差为负时才取到极大值, MLE也未必在边界上.
.......[/quote]
的确未必,但是常见的情况下,基本上就是了。
rtist
也许这个问题可能我还没说清。也不用什么创新性问题,就比如说一个Randomized complete block design吧,如果把block处理成random的,REML估计得block方差就是经常为负的,SAS proc mixed里面基本上见到负的立刻就给改成零了(除非明确加上nobound),所以(Re)MLE在参数空间的边界上,但是真正的参数不在边界上,因为我们知道真正的方差不可能是0,也不可能是负数。如果用ANOVA做method of moment估计,负数的情况就更多了。
rtist
我说的不是一个因为优化得不好造成的估计错误,而是似然函数本身就可以在参数空间外取到最大值,再怎么底层的程序也不会在参数空间内找到最大值。大样本的时候,mle会离真正的参数很近,但是样本量不够大的时候,如果只在参数空间内部找mle,能找到的likelihood最大的值经常就出现在边界上。像cran说的如果再简单情况下,就算落在边界上也能得到渐进分布的时候,近似的ci可以找到,可是我还是没有参数空间内的点估计啊?
cran
[quote]引用第6楼rtist于2007-03-19 19:33发表的“”:
比如说reml估计variance components,likelihood只能在方差为负数里面才有极大值的话,MLE就会在boundary上,或者根本不在参数空间内啊,regularity conditions都不满足啊。CI还可以不包括MLE么?[/quote]
我用NLMIXED作MLE的时候也遇到这种情况,VarU>0的情况下,MLE有时候甚至是-1e-17。。。按照我supervisor的说法是NLMIXED over-estimate了。这个就是frequentist受到限制的地方,我觉得是现有的approximation + numerical technique还不能做到更好的estimate。
换个角度,所以我选择了MCMC。。。
有机会的话,尝试ADMB-RE,可以对比一下。
rtist
嗯,有道理。bayesian的确可以,只要prior的support在参数空间内,posterior肯定跑不出去。
可是bayesian需要给出likelihood,对应mle的estimator可以;
但是对应method of moment的estimator就不行了,因为它只假定了moment的存在,没假定知道分布形式啊,
所以这个时候一旦用bayesian就需要另外引入新的假定。
rtist
我还没用过ADMB-RE。
不过我觉得这不是软件的问题,只要是同一个estimator,用什么软件或者优化算法都应该有同样的问题存在。
cran
[quote]引用第12楼rtist于2007-03-20 06:39发表的“”:
嗯,有道理。bayesian的确可以,只要prior的support在参数空间内,posterior肯定跑不出去。
可是bayesian需要给出likelihood,对应mle的estimator可以;
但是对应method of moment的estimator就不行了,因为它只假定了moment的存在,没假定知道分布形式啊,
所以这个时候一旦用bayesian就需要另外引入新的假定。[/quote]
MCMC还有问题的,当你的posterior sample大部分集中在boundary上的时候,也是一个问题。这样的话,prior还要选老久才好
rtist
区间估计倒是可以用high-density region。
如果prior密度在跨越support边界的时候是连续的,那么posterior边界上的密度也就可以是零了。
njhui
我觉得这是没有区分数值方法和统计学的原因,数值方法当然会找出一个解出来,而不管这个解是否有意义。但统计是要一定和你所针对的问题紧密相连的,本身就要求你的解要在一个范围内,也就是要有
实际意义,进一步说,就是你能解释它。要不然,就算你所有的过程在数学上没有错,又有什么用。
所以我的观点是,换方法,或加条件。
rtist
谢谢各位,我的问题不是为什么产生这样的问题,而是怎么解决这样的问题。
可是换方法说着容易,怎么换啊??特别是怎么能把estimator稍加改变,仍然保留绝大多数该estimator的优良性质。如果原来是个mle,换成bayes容易点;如果原来是mom的话,总要加入并不知道distributional assumption才能换成bayes;如果超出去直接就改在边界上,在边界处基本上就不会光滑,分析起性质来又会很困难。
njhui
呵呵,楼住这个问题要是回答了,应该是ann. stat.
上的文章吧。
rtist
对于moment estimator来说,可不可以再加一阶moment,这样方程数回比参数多一个,基本上不会有解,但是可以把它看成优化问题,用可以最小化某种goodness-of-fit measure的最优解代替原来的estimator。这样基本上会得到一个新的estimator,且多加的条件不是分布条件,而仅是高一阶的矩的存在性,但问题是仍然不能保证最优解会在参数空间内出现;要是再不在参数空间内怎么办?再加一阶?