[未知用户] 是的。是在总体上谈论问题。
因果推断简介之一：从 Yule-Simpson's Paradox 讲起
丁鹏兄举得这个悖论我感觉是交互作用。就是一个效应在不同的人群中，其效果是完全不一样的，甚至是相反的作用。
混杂的意思是，某一与疾病结果相联系的因素在处理组和对照组分布不均匀，从而导致了所研究因素与疾病的联系被部分抵消或扩大。在控制了混杂以后，研究因素和疾病的联系应该比较一致。
混杂的意思是，某一与疾病结果相联系的因素在处理组和对照组分布不均匀，从而导致了所研究因素与疾病的联系被部分抵消或扩大。在控制了混杂以后，研究因素和疾病的联系应该比较一致。
在流行病学中，因果关系的推论，也不是纯粹用统计学来解决的，除了统计学上的association外，其它需要的证据有时间先后关系，强度、剂量变化关系，终止效应，预测效果，特异性、重复研究的一致性，与相关知识是否匹配等。
我个人认为统计上的联系，也仅仅是一种提示作用，可能是因果关系，也可能是关系的一种综合联系。但不管怎么样，只要这种关系能够为人类所用，也就可以了，真正要探讨因果关系，不是统计学能解决的。
我个人认为统计上的联系，也仅仅是一种提示作用，可能是因果关系，也可能是关系的一种综合联系。但不管怎么样，只要这种关系能够为人类所用，也就可以了，真正要探讨因果关系，不是统计学能解决的。
[未知用户] 首先，说 Yule-Simpson paradox 是交互作用，我觉得比较笼统。因为，什么是"交互作用"(interaction)，并不是一件显然的事实。其实，我准备在第十讲左右讲讲"交互作用"的定义，不过 Rothman 等人的流行病学教科书讲到了一些。
这个悖论之所以奇怪，是因为总体中正相关，但是分层后，在每个水平上(注意是每个水平！)负相关。这和“交互作用”没有太大的关系。上面谢益辉论文中的线性模型，就不带交互项，依然出现了悖论。
另外，什么是混杂？流行病学传统的定义有很多种，比如 Miettinen 很早就有一些讨论，但是并不是很完善。一直到 2002 年，耿直老师还在英国皇家统计学会会刊（Journal of the Royal Statistical Society, B）上发表文章，定义什么是“混杂”（confounding）。今年还有一篇讨论“混杂因素”（confounder）定义的文章，还在 Annasl of Statistics 的审稿中。可见这个问题并不是显然的。
但是，流行病学有自己的习惯，他们一般认为（粗略地讲），如果某个协变量在处理组和对照组中分布不平衡（unbalanced），且这个变量和结果相关，那么它是混杂因素，需要进行调整。
这个悖论之所以奇怪，是因为总体中正相关，但是分层后，在每个水平上(注意是每个水平！)负相关。这和“交互作用”没有太大的关系。上面谢益辉论文中的线性模型，就不带交互项，依然出现了悖论。
另外，什么是混杂？流行病学传统的定义有很多种，比如 Miettinen 很早就有一些讨论，但是并不是很完善。一直到 2002 年，耿直老师还在英国皇家统计学会会刊（Journal of the Royal Statistical Society, B）上发表文章，定义什么是“混杂”（confounding）。今年还有一篇讨论“混杂因素”（confounder）定义的文章，还在 Annasl of Statistics 的审稿中。可见这个问题并不是显然的。
但是，流行病学有自己的习惯，他们一般认为（粗略地讲），如果某个协变量在处理组和对照组中分布不平衡（unbalanced），且这个变量和结果相关，那么它是混杂因素，需要进行调整。
[未知用户] 是的，单单靠统计，是不能建立其因果关系的；但是没有统计，建立其因果关系就更困难了。比如，牛顿的力学中，力是改变物体运动的原因，他的结论是通过实验验证的，最后收集数据分析数据，就是统计。当然，这个例子不是很好，因为经典力学中，测量的误差很小，统计的用处展示不出来。流行病学就不一样了，它基于整个人群的研究，变异性是非常大的，很多时候规律并不像牛顿力学那样确定，所以流行病学和统计是分不开的。其实，从文字的起源上，“流行病学”和“统计”有某种同源性。
你提到的“有时间先后关系，强度、剂量变化关系，终止效应，预测效果，特异性、重复研究的一致性，与相关知识是否匹配等”都非常重要，这些东西都是探索因果关系的手段。
正如我在第三讲中提到的，统计并不助于我们“发现”因果，而是帮助我们“验证”因果；统计学研究“原因的结果”，而不是“结果的原因”。
你提到的“有时间先后关系，强度、剂量变化关系，终止效应，预测效果，特异性、重复研究的一致性，与相关知识是否匹配等”都非常重要，这些东西都是探索因果关系的手段。
正如我在第三讲中提到的，统计并不助于我们“发现”因果，而是帮助我们“验证”因果；统计学研究“原因的结果”，而不是“结果的原因”。
[未知用户] 呵呵，非常期待，我也好好复习一下这个概念
6 天 后
[未知用户] 是不是就是说 如果这里我们在设计试验时treatment和control的人数都控制为20，此外在再treatment和control各组中保证男女比为1比1，即treatment和control组中各有10名男性和10名女性。这样我们就可以避免掉性别对treatment在生死上effect的影响了（就是消除了性别的confounding）？
但是因为我们对很多未知的covariates无法控制，所以这个因果推断还是无法继续？
谢谢
PS为啥统计之都现在无法注册了嘛？（另外我明明记得之前注册过的，这会又登不上了=。=！）
但是因为我们对很多未知的covariates无法控制，所以这个因果推断还是无法继续？
谢谢
PS为啥统计之都现在无法注册了嘛？（另外我明明记得之前注册过的，这会又登不上了=。=！）
[未知用户] 是的。这就是观察性研究的缺陷。这也是很多人对观察性研究很悲观的原因。
但是，完全随机化的试验，理论上可以消除所有的混杂。
但是，完全随机化的试验，理论上可以消除所有的混杂。
[未知用户] 完全随机化就能消除这些因素了嘛？但是intermediator和output的共同未测confounder不是仍然会存在干扰而不发测准direct causal嘛 还在入门中，望指教
谢谢
谢谢
[未知用户] 这里暂时没有讨论mediator的问题。
6 天 后
怎么没有人晒扩展问题的答案？
我刚计算了一下，如果保持男性吃药康复的比例为18/12，但是略微改变一下，变为6/4(规模变为原来的三分之一)，其余均不改变，此时只有总体的吃药康复率有变化，吃药康复率为(6+2)/(8+12)=40%，与对照的康复率持平，再进一步减小男性康复样本，则可消除悖论。我也认为这和交互没有什么关系，是性别这个混杂因素同时对结果和处理的影响导致的。
这是用平板电脑的回复，可能打字有错误，见谅，有电脑时，我晒一晒对扩展问题的个人回答～并等待丁鹏的答案～
我刚计算了一下，如果保持男性吃药康复的比例为18/12，但是略微改变一下，变为6/4(规模变为原来的三分之一)，其余均不改变，此时只有总体的吃药康复率有变化，吃药康复率为(6+2)/(8+12)=40%，与对照的康复率持平，再进一步减小男性康复样本，则可消除悖论。我也认为这和交互没有什么关系，是性别这个混杂因素同时对结果和处理的影响导致的。
这是用平板电脑的回复，可能打字有错误，见谅，有电脑时，我晒一晒对扩展问题的个人回答～并等待丁鹏的答案～
[未知用户] 是的，本质上就是性别同时与处理和结果强相关。
悖论确实可以消除，但是讲这个悖论，只是说有这样的可能性，需要在做统计推断的时候谨慎。
悖论确实可以消除，但是讲这个悖论，只是说有这样的可能性，需要在做统计推断的时候谨慎。
1 年 后
[未知用户] 更一般的，数学模型都是要考虑推广性的。我们建立模型，实际上包含两部分，一部分是对已知数据学习是否能学的好，另一部分则是这种推广性。MSE只是前一部分，而并非后一部分。
24 天 后
[未知用户] 关于这个问题可以看这里的一篇博客（科学上网）http://zjz06.blogspot.com/2009/04/blog-post_7569.html
我摘出来：
“三、交互影响与共同影响之区别：两者是完全独立的两个概念，不要搞混了。（当然，你即不是世上第一个、也绝不会是最后一个混淆两者的人。）由于经常与人辩论这个问题，我最后找到一个简单而又有力的例子：含A和B两个自变量的factorial experiment（正交实验），在此条件下，A和B是完全无关的（为什么？考考你），即两者对因变量只有独立影响而无共同影响（即 Δ3= 0）；然而，分析正交实验数据时，我们一定要检验A和B之间的交互影响，结果有时显著、有时不显著，这就不说明交互影响与共同影响是无关的两回事吗？（我好像写过一个类似的帖子，但一下子查不到了。知道的读者帮帮忙吧）
四、共同影响是什么东东：我写过N个帖子讲交互影响，你的上述理解是对的。这里讲几句什么是共同影响。首先，这个名词容易误导。英文中不是“common effects”，而是confounding effects, overlapped effects, shared effects（干扰、重合、共享等等）。它并不是什么好东西，甚至连“东西”都不是，因为它不含任何信息，只是一个即属于A也属于B的混沌世界（但真正的混沌是有信息、可以解的），也许称为“灰色地带”更准确（相信很多读者对在政策灰色地带中生活有深切感觉）。
当然，“灰色地带”有多种来源，如A和B缺乏discriminant validity（差异效度）、A和B受到第三者变量的影响下、A和/或B中含有偏向对方的系统性误差，等等。不管来源为何，其直接影响了模型的理论解释力（当然并不影响模型的预测能力），所以一般是想方设法减小（而不是“研究”）AB之间的“共同影响”。”
我摘出来：
“三、交互影响与共同影响之区别：两者是完全独立的两个概念，不要搞混了。（当然，你即不是世上第一个、也绝不会是最后一个混淆两者的人。）由于经常与人辩论这个问题，我最后找到一个简单而又有力的例子：含A和B两个自变量的factorial experiment（正交实验），在此条件下，A和B是完全无关的（为什么？考考你），即两者对因变量只有独立影响而无共同影响（即 Δ3= 0）；然而，分析正交实验数据时，我们一定要检验A和B之间的交互影响，结果有时显著、有时不显著，这就不说明交互影响与共同影响是无关的两回事吗？（我好像写过一个类似的帖子，但一下子查不到了。知道的读者帮帮忙吧）
四、共同影响是什么东东：我写过N个帖子讲交互影响，你的上述理解是对的。这里讲几句什么是共同影响。首先，这个名词容易误导。英文中不是“common effects”，而是confounding effects, overlapped effects, shared effects（干扰、重合、共享等等）。它并不是什么好东西，甚至连“东西”都不是，因为它不含任何信息，只是一个即属于A也属于B的混沌世界（但真正的混沌是有信息、可以解的），也许称为“灰色地带”更准确（相信很多读者对在政策灰色地带中生活有深切感觉）。
当然，“灰色地带”有多种来源，如A和B缺乏discriminant validity（差异效度）、A和B受到第三者变量的影响下、A和/或B中含有偏向对方的系统性误差，等等。不管来源为何，其直接影响了模型的理论解释力（当然并不影响模型的预测能力），所以一般是想方设法减小（而不是“研究”）AB之间的“共同影响”。”
[未知用户] 上面“小雍子”的回复，和Simpson‘s paradox并不是直接相关。
3 年 后
[未知用户] 很厉害！是R专家！
1 年 后
[未知用户] 好奇因果推断和统计学怎么和复杂体系结合
[未知用户] 不记得在哪儿看到过，说一件事可以有很多causal effect；统计研究的不是cause of the effect 而是the effect of the cause。跟你这个说的有异曲同工之妙