想请问一下：多分类的判别分析中能用lasso降维吗？

Gilbert Li

如果因变量是分类变量，而且不止两类，logistic就用不了了，那还有其他方法能使用Lasso等降维方法筛选吗？

多分类的降维还有什么方法吗？只能用randomForest之类的组合方法吗？[s:16]

Ihavenothing

回复第1楼的 Gilbert Li：

可以试试glmnet包，它本身是做Lasso的，而且支持多分类的Logistic回归。

Gilbert Li

回复第2楼的 Ihavenothing：呃……又让师兄回复了我一遍==，看来我的问题是不懂多分类logistic回归呀……多分类的logistic（还是多分类的广义线性模型？）是谁提出来的呢？[s:12]

Ihavenothing

回复第3楼的 Gilbert Li：

首先，要明白Logistic回归是广义线性模型的一个特例，它相当于广义线性模型中因变量是二项分布；其次，要明白多分类的Logistic回归也是广义线性模型的一个特例，这时因变量是一个多项分布；最后，给一个iris的例子，应该就能搞懂怎么用glmnet跑多分类Logistic回归，至于理论，还得多花些时间看看书。[s:11]

library(glmnet);<br />
set.seed(123);<br />
train.index = sample(nrow(iris), 0.7 * nrow(iris));<br />
train.x = as.matrix(iris[train.index, 1:4]);<br />
train.y = iris[train.index, 5];<br />
test.x = as.matrix(iris[-train.index, 1:4]);<br />
test.y = iris[-train.index, 5];<br />
model = cv.glmnet(train.x, train.y, family = "multinomial");<br />
pred.y = predict(model, test.x, type = "class");<br />
table(pred.y, test.y);<br />
print(round(predict(model, test.x, type = "response"), 5));

</p>

Gilbert Li

回复第4楼的 Ihavenothing：酱紫呀！有点懂了……灰常灰常感谢！！！[s:17]

ustcpc

回复第4楼的 Ihavenothing：我现在有基因数据，想在线性回归之前用一次glmnet不知道该怎么操作呀？求教高手！谢谢！

nan.xiao

回复第6楼的 ustcpc：

SuperLearner::screen.glmnet 是对 glmnet 的一个封装，可以直接用来筛选变量。

ustcpc

回复第7楼的肖楠：请问具体怎么操作呢？就是说输入数据的格式是啥呢？

nan.xiao

回复第8楼的 ustcpc：

原始函数怎么用需要看文档。他是把整个筛选建模组合过程封装起来了。只言片语很难概括啊。

你也可以模仿他自己写一个独立函数：

<br />
ScreenLasso = function (Y, X, family, nlambda = 100, alpha = 1,<br />
                         minscreen = 2, nfolds = 10, ...) {</p>
<p>  require(glmnet)</p>
<p>  if (!is.matrix(X)) X = model.matrix(~-1 + ., X)</p>
<p>  fitCV = cv.glmnet(x = X, y = Y, lambda = NULL, type.measure = "deviance",<br />
                    nfolds = nfolds, family = family, alpha = alpha,<br />
                    nlambda = nlambda, ...)</p>
<p>  whichVariable = (as.numeric(coef(fitCV$glmnet.fit,<br />
                                   s = fitCV$lambda.min))[-1] != 0)</p>
<p>  if (sum(whichVariable) < minscreen) {</p>
<p>    warning("fewer than minscreen variables passed the glmnet screen,<br />
            increased lambda to allow minscreen variables")</p>
<p>    sumCoef = apply(as.matrix(fitCV$glmnet.fit$beta), 2,<br />
                    function(x) sum((x != 0)))</p>
<p>    newCut  = which.max(sumCoef >= minscreen)</p>
<p>    whichVariable = as.matrix(fitCV$glmnet.fit$beta)[, newCut] != 0</p>
<p>  }</p>
<p>  return(whichVariable)</p>
<p>}<br />

</p>

<br />
require(mlbench)<br />
data(Sonar)<br />
Selected = ScreenLasso(Y = Sonar[, 61], X = Sonar[, -61], family = 'binomial',<br />
                       nlambda = 50, minscreen = 10, nfolds = 5)<br />
SonarSelected = Sonar[, Selected]<br />

</p>

SonarSelected 就是由选出来的变量组成的结果数据。

ustcpc

回复第9楼的肖楠：高手请问你有邮箱吗？可以联系下嘛？

xingkong626

回复第10楼的 ustcpc：

你的基因数据，用glmnet降维效果如何？

Spica99

回复第4楼的 Ihavenothing：站长好，想问一下多分类的logistic（如响应变量为0,1,2,3），如果其他分类对参考类别（如1,2,3分别对0）的斜率不一样，是否还可以用glmnet来做广义线性模型？谢谢！

Ihavenothing

回复第12楼的 Spica99：

不是很清楚你的意思，什么叫其他分类对参考类别的斜率？

huanglei_jay

回复第9楼的肖楠：

楠哥，请教你！我运行了下面代码

data(diabetes)

attach(diabetes)

object <- lars(x,y)

plot(object)

上述代码出图，图中x轴是0-1且都是0.2的间距，这个间距是怎么设定的？？？可以自己更改吗？

根据lasso 的思想选出来的特征与这个横轴的值息息相关的，我现在想指定这个值应该怎么改lars算法？

（我的需求是想设定一系列的x轴值，然后根据这个值对应可以得到一系列的变量组，然后进行判断哪个变量组是最拟合的，最后确定最拟合的x轴值)

huanglei_jay

回复第13楼的 Ihavenothing：

站长请教你！我运行了下面代码

data(diabetes)

attach(diabetes)

object <- lars(x,y)

plot(object)

上述代码出图，图中x轴是0-1且都是0.2的间距，这个间距是怎么设定的？？？可以自己更改吗？

根据lasso 的思想选出来的特征与这个横轴的值息息相关的，我现在想指定这个值应该怎么改lars算法？

（我的需求是想设定一系列的x轴值，然后根据这个值对应可以得到一系列的变量组，然后进行判断哪个变量组是最拟合的，最后确定最拟合的x轴值)

273275395

回复第7楼的肖楠：大神求指教，我是出入R的超级菜鸟，想用glmnet做logstic回归对基因数据，用lasso做估计，得到回归系数，求具体例子的程序，谢谢。

Mr.circle

[未知用户]
你好，当用elastic net建立模型时，lambda可以通过cv.glmnet()找到，那alpha怎么确定呢？

在用glmnet建立多分类逻辑回归时，比如说三类，通过cv.glmnet建立模型，取lambda.min的模型，会返回三组系数，
1.三组系数有没有意义？
2.三组系数非零的个数不一致，也与lambda.min对应的df不一致，这个要怎么理解？
3.用cv.glmnet模型画出的路径图怎么理解？因为有三类的话有三组系数
4.模型的好坏怎么评价，存不存在类似于拟合优度的某个属性来说明模型好坏？
5.进入模型的各个变量的重要性怎么评价？

大神望解答，谢谢谢谢~