ggplot2包中scale_size如何分别控制geom_text和geom_point？

测试代码如下：

library(ggplot2)
d=data.frame(x=1:4,y=2:5,l=letters[1:4])
ggplot(d,aes(x,y))+geom_point(aes(size=x))+geom_text(aes(label=l,size=y))+scale_size(range=c(0,3),breaks=1:4)

结果发现text和point同时被改了。请问能不能分别控制，并且用不同的图例显示？ :?: