Linux 批处理

Heidi

大家好！初来报到。请教一个问题

想问一个linux上运行的问题，我有几段脚本要在几百个文件上都跑一次，如果在脚本中的函数有输入和输出这两个参数，就是没跑一次都要改这个参数，因为这几百个文件名不一样嘛，请问这样要怎么处理？是要把文件名提取出来存在另一个文件下，每次函数输入都去读这个存储文件名的文件，还是有别的方法可以批次处理这些文件？

doctorjxd

问得比较笼统，

如果有规律的话，可以很方便地用脚本动态生成命令来解决。

Heidi

回复第2楼的 doctorjxd：你好！请问脚本动态生成这个要怎么做？或是可否告诉我属于那部分内容，我可以自己去查，不好意思刚刚自学linux。。。如果文件名没有规律呢？就是一长串字母加数字（84720_I327_FCC01KHACXX_L8_HUMjxjXAAXDCAAPEI-1_1）但是文件名没什么规律，除了都会有相同部分HUM外。。。

zggjtsgzczh

依据你1#楼的描述构建一个简单实例:

假定A文件夹下有100个txt文件,且文件名无规律,但均为英文与数字构成。现需对所有文件中内容进行提取指定行内容并输入到一数据框中，并保存数据框最后结果到一csv文件中。同时，要求在R下完成全部处理过程。

分析思路如下：

1.在R中使用dir()函数读取指定文件夹，建立文件名向量。

2.并行或循环执行读取并提取文件指定内容。具体函数见?base函数包索引帮助中的file.*系列函数。

3.保存数据框到文件。write.csv()函数。

ps:我不知道你那几段脚本具体是要对那几百个文件做怎样的操作，如果仅仅是替换查找提取操作，其实用awk，sed等工具效果会更好。比如看看Bash Guide for Beginners.pdf，可能有助于提高工作效率。

Heidi

回复第4楼的 zggjtsgzczh：你好！我要做的操作是，运行一个函数，而函数里面有一个参数是文件的路径和文件名，之前是随机挑了几个文件去跑那个函数，试运行过那段代码，但是现在要把那些文件都跑一次而不是只跑一个文件，但是不可能每次都手动改路径嘛。所以在想可否用一个变量动态赋值，值为文件名，然后代入函数里面循环跑，每跑一次改一次变量的值用于下一次跑，想问一下这样是否可行？或有没有别的快一点的方法？大家一般是怎么做啊？因为没跑一次都要花不少时间所以不敢随便写循环怕会。。。谢谢~

yanlinlin82

回复第5楼的 Heidi：把耗时的调用换成cat()或print()，先试好了，再换回来。

helend

回复第5楼的 Heidi：

不是太麻烦吧？

在R里面写一个循环，然后运行每一个文件，如果有输出文件，先判断一下输出文件是否存在。下面的代码提供一个思路。

</p>
<p>files <- list.files('input', '*.txt', full.names = TRUE)<br />
for (i in seq(along = files))<br />
{<br />
    output <- file.path('output', sprintf('%s.RData', i))<br />
    if (file.exists(output))<br />
    {<br />
        next<br />
    }<br />
    cmd <- sprintf('Rscript %s %s', files[i], i)<br />
    system(cmd)<br />
}</p>
<p>

</p>

Heidi

回复第7楼的 helend：

请问这两句是什么意思？

cmd <- sprintf('Rscript %s %s', files, i)

system(cmd)

Heidi

回复第4楼的 zggjtsgzczh：因为运行起来时间很长样本很多，所以想在服务器上跑，一个样本跑一个核，但是不同样本想指定的核不同，代码中的输入也不同，想把这两方面合起来

Heidi

回复第7楼的 helend：因为运行起来时间很长样本很多，所以想在服务器上跑，一个样本跑一个核，但是不同样本想指定的核不同，代码中的输入也不同，想把这两方面合起来

Heidi

回复第6楼的 yanlinlin82：意思是这样调试起来比较方便？

zggjtsgzczh

回复第9楼的 Heidi：

可以看一下Paralle R-O'Reilly2011-1.pdf的C.3 multicore及相关章节叙述，可能会找到详细的解决方案，以满足你的个殊性需求。:)