https://cos.name/2011/07/we-never-know-randomness/

1. 刚看完《缩水》和谢老大这篇文章，想起前段时间看的一个谈“Unbiased Look at Dataset Bias”的文章http://www.cvchina.info/2011/06/23/cvpr-nb-paper/。真实的试验数据集多多少少总会带上主观选择的色彩，这个很难避免，即使随机化了，由于数据获取的问题，小样本下，多次重复试验时出现的统计显著性当然会不同，因此需要调整P值，需要这个FDR(话说第一次听这个，真是离统计越来越远了，汗..)，于是统计确实像是在赌博，赌承受能力有多大，赌有生之年会不会被小概率事件给砸死...不知我的理解是否正确 2. 我觉得说到期望，必须得与方差联系在一起，一次实验，赌的更多的是承受这个波动的能力有多大 3. 依稀记得课本中说，对于连续型变量，似然函数是一个与参数无关的邻域与概率密度的乘积所得到的概率，所以求极大值时候省掉了那个邻域，直接变成了概率密度的乘积。当然当初没有认真想这个问题，还是去看看那篇40的论文去... 4. 对于这篇文章，赞一下！

George Box的“任何模型都是错的，但有些是有用的”的这个名言太赞了。另外，统计里面的一个基本概念是说，小概率事件在一次试验中不可能发生。众多的假设检验也正式基于此。其实对于一次试验的结果，要么是发生了要么是没有，如果关注某次试验的结果，概率还是很无力。

我几乎完全同意本文的所有观点。我个人有个建议，大家可以做一些模拟的训练，来加强对于随机问题直觉。比如随机生成1000组数据，每组数据包含500个观测值，每个观测值都是用均值为5，方差为5的正态分布来独立生成。每组数据计算平均值，然后把结果记录下来。然后用均值，方差，直方图之类的你所知道的所有技术对这1000个平均值进行分析，尤其注意的是那些“反常的”平均值，特别大的或者特别小的。接下来可以把500个观测值逐步减小，比如减到50或者20，再重复上述的过程。有了这样的经历会让你在直觉上对上帝的骰子有更深入的把握。也能够理解可重复性在科研中的重要。

谢兄想得很深啊，呵呵。。。这些看似最基本的一些统计学概念/问题对于真正搞懂统计，正确用统计思考问题解决问题是及其关键的。我也很同意你的观点。。。统计近多少年来在理论上已经很难有突破了，所谓的新方法一般也就是把简单问题变复杂，然后再把复杂的方法，算法再近似成“简单”。。。对简单的模型用精确的算法，比之对复杂的模型用近似的方法，孰优孰劣呢，很多时候难说。希望，在不久，真的会有另一个Fisher出现。

很精彩！在我没有看Lindsey的paper之前，我并不同意似然是一种近似或者与积分中值定理有关。连续随机变量和离散随机变量并没有本质区别，只是一个相对counting measure，一个相对lebesgue measure。不过我同意似然并非万能，比如Cauchy分布的似然就表现很奇特。指数分布族下，似然应该接近完美。似然的观点其实可以和纯频率学派划清界限。Pearson用矩估计，可以看成正统的频率学派；Fisher用似然，其实更和Bayes相近。只是我们的教科书证明最大似然估计的渐近性质，用到了大数定律和中心极限定理（+泰勒展开），把似然的观点弄成频率学派。另外，“渐进”->“渐近”。

[未知用户] 谢谢纠正错别字，我居然把所有的渐近都写错了，汗。你说的也有道理，我以前也是这么想的：尽管密度不直接是概率，但它在某种程度上也体现了概率的相对大小。Lindsey的文章里提了说Fisher老爷子当年定义似然函数的时候在这里非常小心，Fisher用的就是领域内的积分来表示似然函数（这是真正意义上的概率），并不是直接用的密度函数。（如2楼高涛所说）似然与Bayes更近这说法我也同意，矩估计的基础是期望，而期望则是频率学派的典型特征。

很喜欢小谢的文章。我上统计学课的时候，给学生介绍统计软件，还引用过小谢的话。还直接得到过他的帮助。作为一个概率出身的人，想说几句关于概率论的话。概率论是一个数学理论，她象任何一个数学理论一样，有她的三个方面的内容：直观，形式逻辑，应用。而随机变量是为了形式逻辑部分的研究而存在的。相对于其他数学中的对象，她应该算是比较直观的了。概率论的直观和应用都非常丰富，但这不能作为她的全部，她的中心应该还是形式逻辑的部分。概率论不能专门为哪一个应用而存在。象任何的理论一样，她应该是普适性的。这就要求她应该有自己的理论体系。这也不可避免的会损害她的直观性。但这不是概率论理论的问题，而是任何想应用这个理论的人应该考虑的问题。概率论说到底也只是个工具而已。好比一个锤子，你拿来用可能是不趁手的，因为这个锤子不是为某个人造的。但是这毕竟是一个锤子，可以在很多地方用上。不知道这些话发在这里是否合适，因为看到了，就有些话想说了。关于上面的话，其实在W.Feller的书里有更多的话。因为恰好反映了我想说的话，有些就直接拿来用了。

[未知用户] 很高兴看到张老师的评论，因为我在数学方面功底不行，所以我一直都想听听数学出身的人怎么想。关于形式逻辑，让我想起来当年张波老师教我们实变函数，当时我心里是八百个痛苦，因为那玩意儿没办法从直观角度去考虑，或者非要从直观角度考虑的话，就会学得很慢很慢，后来我心想算了，这定理套定理的东西只管逻辑就行了，追求直观是自找麻烦。到现在我还是很怵形式逻辑，测度论学得一塌糊涂。有一次我斗胆问了我们系一位测度论老大师（老大+大师+老师），您在概率论或数理统计中见过不可测的集合吗？估计老爷子心里很不高兴，说没有，但你若需要我可以给你造一个。从我的角度来说，我看到的是我们花了很多时间和精力在定义（外）测度、可测集合、可测函数，但当我们步入概率论的领域时，这些基本概念都成了“理所当然”的东西，谈论的对象都是可测的；讲Lebesgue积分时常引用那个Riemann积分不存在的例子，可是那种“奇怪的”函数（Dirichlet）只是从逻辑中构造出来的而已，当我们步入概率论时，看到的都是“乖乖听话”的函数，积分仍然都是Riemann积分。这些都是我的困惑，当然，也可能只是因为我比较懒，于是自欺而已。抽象肯定有抽象的好处，就算是编程序写代码也需要抽象，否则代码很容易陷入杂乱无章的状态。统计图形界的大佬Antony Unwin去年在ASA的一份Newsletter中写了一篇文章 Getting into hot water over hot graphics ，当时我读的时候对其中一句话印象比较深刻：让严谨的数学家远离数据分析是件好事（后半句我就不翻译了）。无论如何，谢谢分享观点，闲暇之余，还想请张老师在这里写两篇小文章，推动咱们学院老师的上网工程啊：）

真理在缩水，还是上帝在掷骰子？

yihui

[未知用户] 经济学上的期望是什么概念我不确定，统计学上的期望往往隐含着“样本量无穷大”的意思。关于这个话题，本来还有另一个值得写的话题t检验与Satterthwaite近似，但估计写出来就更没有人看了。

Cloudly

[未知用户] 经济学上的期望定义应该和基本概率论一致，离散变量是概率的加权平均值，连续变量就是那个积分。只是经济学额外的加上一个效用函数，所以期望收益≠期望效用，如果效用函数不是纯线性的话。

Jiazhong Guo

读罢此文还是受用，交流几点看法：
1.“我们知道连续变量取任何一个值的概率都是0”坦率地说，我没有学过这句话，我只记得是非常小，当然你额可以说非常小可以近似为0！（R一例dnorm(0)[1] 0.3989423）不知哥们你如何解释呢？我个人理解连续型随机变量，只是借用了数学中函数连续性的概念，强调了在定义域内的无限分割，在计算上可以采用积分而已！很多时候即使在直接的测定刻度下，观察值的范围并不大！
2.statistical significance是被很多专业的人翻译为“统计学意义”。可能我孤陋寡闻了，你不说我还不知道有这种译法！我从学习统计学开始，就是统计显著性。不知道那些哥们，都看的是什么大作！
3. 我认为permutation，与bootstrap都是直接实现了统计推断的哲学思想！当然，这主要是依赖于计算机的强大！今天的我们被统计学中的数学所固化，所以习惯了常用的统计分布函数！
4.统计推断本质上是一个决策过程，准确一点是基于概率或随机数学的决策过程！在一次统计推断中，在模型确定的情况下，究竟倾向于减少那类错误的发生率在于本人！其实统计推断效率提高的过程，是在统计模型建立的阶段，模型错误，再好的戏估计也出不来，而这又依赖于专业或者经验！

yihui

[未知用户] dnorm(0)的意思是标准正态分布的密度函数在0处的取值，它并不是正态分布随机变量X = 0的概率。重复：密度不是概率。

Jiazhong Guo

[未知用户] 密度函数的全称是probability density function, 另外还有probability cumulative function or probability mass function! 那这几个基本定义的概率二字还是不能去掉的吧！

。。。。。。可能你的是对的吧！

Jiazhong Guo

[未知用户] 我赞成楼上的观点！应该来说likelihood本是自成一家，处于frequentist 与bayesian以外！但是被许多人所误解，毕竟大部分教科书介绍likelihood的时侯是通过密度函数引入的，容易误解！当然他们也是亲戚，频率学派最早只是提出了基于频率的参数估计优良特性是什么！但实际上并没有给出相应的方法，而Fisher在这方面做了大量的工作！

yaox009

以前上数理统计的时候，老师说，数学是科学，统计是艺术；科学有对错，艺术只有好坏。
后来，看到 Rao 的那本《统计与真理》越来越体会到这句话的内涵了。
逻辑上，数学是演绎推理，统计是归纳推理。我想，这可能是最本质的区别了吧。

kissthefuture

内容是不错，可是这个文章的题目也太那啥了

yihui

[未知用户] 题目咋啦？

bootstrap

动态QQ图那张如果固定坐标轴，效果也许会更好一些

yihui

[未知用户] 有道理！这一点观察很有水准。

bootstrap

边看边评论

关于连续随机变量的似然问题，那场争论的确发人深省，不过在第一次接触这个概念时，对我来说却很自然（牛人才会去争论。。。），说白了就是中值定理作近似，只不过大家都消去了一个公共的因子——矩阵切条的宽边长度

实际上，过分强调样本点的“精确值”有时是有害的。这里我要稍做解释。我们在计算似然时，总是使用似然函数在“样本点上”的取值，但实际上样本点有测量误差，从这个角度上看这样做就是有问题的，但这一般不会导致大的麻烦。让人崩溃的情况却不少，其中之一就是我最近在做的所谓conditional inference。这玩意Fisher在低维情形下玩过，列联表里的Fisher精确检验就是一例，能够消去nuisance parameter（参考sufficient statistic），在不容易找到枢轴变量时，确实是很漂亮的解决方案，power也很不错。

但问题来了，如果需要condition的nuisance para比较多时，这时相当于y和X之间需要满足很多等式限制条件（即使许多时候是线性约束），这就使得找到这样的y极其困难，condition方法的应用也就举步维艰。按我构造的例子，仅控制1个5水平的离散变量，现有的大部分方法就失效了，因为找不到这样的y（或者效率极低）。精确满足多个等式约束啊同学，太坑爹了。

所以似然的精确程度是浮云，过得去就行了～

yihui

[未知用户] 我不太懂你说的条件推断，不过你的观点我非常同意——样本观测通常有误差，对不精确的数据做精巧的方法可能真的只是自寻烦恼。

jxliang

这篇是好文章，值得细细品读……看了最大的感受有三点：
一、还是得回过头来好好考虑概率是什么，数学期望是什么。不少初等的书把概率定义成可能性大小的量度，具体怎么度量，看不见摸不着，就一个数，学习的时候糊弄一下就过去了，也没细究。学了测度论以后，当然就不满足这样的定义。（顺便一提，我觉得Kolmogorov的贡献非常重要，公理化的概率论为我们提供了一套逻辑上自洽的概率体系，不管大家在形而上学的层面怎么看概率，至少都同意他这套运算规则，而概率论中的全部结论，都只是依赖于公理中的约定，而不是某些经验上的东西。）然而，说到底，要直观感受表示可能性大小的“概率”而不是数学对象的“概率”，最后还是得回到初等的“频率”的概念，概率可以看成是服从伯努利分布的随机变量的数学期望，这要回到谢老师的论述：期望往往是“样本量无穷大”你才能隐约看到的东西。我能想象到的最直观的感知概率的办法就是样本量无穷大的时候的频率，这件事情能够办到的基础是“大数定律”，而且我认为，这一定律就和物理定律一样是关于客观世界的，与数学中证明的“大数定律”享用同一个名字，但意思不一样。
二、即使模糊地去理解概率，有些事情发生的可能性是出乎我们意料的大，只是我们主观地认为这件事情发生的可能性很小。50个人存在两人同一天生日的故事就不说了。本文也讲了这样一个例子：一个iid服从标准正态的样本（样本量为30），对于每一个观测值，绝对值在2以下的概率是0.9544997，30个的绝对值在2以下的概率却是0.9544997^30= 0.2473283，随便的整一组标准正态的数据，有超过四分之三（1-0.2473283= 0.7526717）的概率看到“离群值”。
另外，人把握随机的东西是有一定困难的，Varian的中级微观经济学讲过一个例子：网球选手应该随机地变换发球区域，使得对手很难猜。一些研究表明，网球高手们确实试图随机发球，但他们的表现是“矫枉过正”，表现得过度随机了。
三、本文中“万能的P值”一节实际上也从某个角度反映了经济学方面经验研究的一些现象。尤其在国内，很多研究都让人读后感到不可信。
以上纯粹是个人不成熟的想法，请谢老师指正……

yihui

[未知用户] 指正不敢当，你的这些思考都很好啊。

gqyjlu

[未知用户] 关于随机发球的那个，好像在心理学中叫代表性直觉偏差。

sihaifang

真理没有缩水，而是探索真理的方法出现了迷失。以金融市场为例，由于人们对时间序列的执着，想当然地认为对时间采取固定间隔的划分可以窥视数据的全貌，其结果就是上帝在掷骰子。

这个同学的理解非常好：“以金融市场为例，由于人们对时间序列的执着，想当然地认为对时间采取固定间隔的划分可以窥视数据的全貌”~~~宏观数据之时间序列：也是变频的~~

gaotao

翻了下Efron的The Future of Indirect Evidence，发现二战后的最伟大的成果是JS估计，第二才是FDR。谢老大笔误了..

yihui

[未知用户] 看得真仔细，你说的的的确确确确实实实实在在没有错，我已经改过来了。多谢！

wwwscopin

"把整体的第一类错误率控制在某个alpha值之下，就意味着单个检验必须更“严格”，因此我们不能再以0.05去衡量每个检验是否显著，而要以更小的值去衡量，这就是P值的调整，老办法有Bonferroni等方法。"

Here the "更小" should be "更大"...