既想排序又想回归? 可以考虑 Combined Regression and Ranking (CRR). 这个方法简单说就是同时优化回归损失和排序损失, 用一个参数调节两者权重. 现有实现只有 L2 penalty, 更适合做非稀疏问题.
原理 http://www.eecs.tufts.edu/~dsculley/papers/combined-ranking-and-regression.pdf
R封装 http://cran.r-project.org/web/packages/RSofia/