用局部加权回归散点平滑法观察二维变量之间的关系
8 天 后
就technique background 和 application来说讲得基本到位哈。但是我觉得对于统计方法的描述上,如果能结合背景知识来讲的话效果会更好。因为数据只是数据,而统计模型就是因数据而生,看上去任何一种方法都很好。但是实际上,统计模型具有很浓厚的背景性。比如lowess方法,它有一个hidden assumption就是,你必须知道你的这个smooth regression model是实际而且可以intepret的。(这个东西本身就是从生物,医学或者社会学领域发展来的,人家已经知道两个变量之间是有关系的,所以才发展了这些非线性方法去建模)。可想而知,这样的模型应该是比简单的线性要好。但是,如果在实际应用当中这个前提不能满足的话,这个模型的uncertainty就大大增加了。很显然,参数越多,模型看上去对数据的拟合越好,那么你怎么去计算你得到的这个relationship的可靠度呢?(type-i and type-ii errors)? 这一直是统计学界最担心的问题,统计模型的解释和应用。比如,chaos理论里有大量的简单的dynamic system可以模拟出非常随机的数据,而很多统计模型可以把这些数据拟合得非常好,但是事实上这些模型都是错的。:(
嗯,确实应该请给我数据的人来评价一下,统计学方法只有和相关专业知识结合起来才有用,而不能闭门造车还觉得自己造的挺好看 :P
2 个月 后
yihui,你好。
我看到有些文献中通过cox regression计算martingale residuals,随后通过绘制mr的scatter plot,计算和0交界的值来确定cut off。
能介绍一下原理吗?
我看到有些文献中通过cox regression计算martingale residuals,随后通过绘制mr的scatter plot,计算和0交界的值来确定cut off。
能介绍一下原理吗?
4 个月 后
益辉,呵呵,我来转转,这些东西我都不懂,不过能看出来这个网站真的很棒,你很用心,辛苦了!yujie
[未知用户] 抱歉我已经忘了martingale residuals的意思,但我感觉应该是观察残差的趋势(普通的散点图可能不容易观察)
[未知用户] 哈哈,你是咱班第一个来这里吼一嗓子的,谢谢支持! :mrgreen:
11 天 后
[未知用户] 谢老师,能否将LOESS拟合的脚本发一份给我?谢谢!
[未知用户] 见正文R代码。数据、程序都有。
[未知用户] 谢老师,谢谢你的指点,还有一个问题想请教下,如果loess拟合只要得到第二个图那样的只有点位和曲线的图,该怎样写代码?请原谅我的无知。多谢……
[未知用户] 看正文R代码,依葫芦画瓢吧。
5 天 后
[未知用户] 谢老师,你好:
又来打搅你了,拟合曲线我画出来了,现在我需要在曲线上找到breakpoint,但不知道怎么用rpart函数,能不能就本例指点下?谢谢.
又来打搅你了,拟合曲线我画出来了,现在我需要在曲线上找到breakpoint,但不知道怎么用rpart函数,能不能就本例指点下?谢谢.
[未知用户] 什么叫breakpoint?如何定义?回归树中自变量的拆分点?看
?rpart
及其返回值及其相应的帮助文档吧,关键是了解返回结果的数据对象类型以及怎么从中取值出来。1 年 后
非常佩服谢老师!
2 个月 后
若因变量变成名义变量,自变量是连续变量,loess还可以做吗?
[未知用户] LOWESS本质上就是(加权)局部回归,所以理论上只要回归能做,LOWESS就能做,但我没见过你说的这种情况。LOWESS的初衷是为了检查散点图中的趋势(它具有较好的耐抗性,离群点的影响不大),而散点图通常是连续变量对连续变量的图。若因变量是离散变量,那么散点图本身的意义就不大了,仅仅在一些非常特殊的情况下可能有用,例如因变量为二分类。
1 年 后
时隔3年来读这个文章,感觉很有收益。统计的东西,如果和直观都相左,就没有太多大意思。从这个意义上讲,LOWESS还是非常有用的。
[未知用户] 我最喜欢回来看老文章的读者了,这对作者是很大的鼓励。我们不求更新最快,但求老文章一直有人看。
1 年 后
谢老师,您好!您这篇文章对我帮助很大,但我还想问一下LOWESS拟合出来的曲线,可以用方程具体表达么?应该怎样操作呢?谢谢(*^__^*)
[未知用户] LOWESS拟合的曲线很难也没有必要用方程表达,它是一种平滑方法,而且主要用在散点图中,看图即可。没有人说科学一定要通过方程表达吧:)