R 语言中 data table 的相关，内存高效的增量式 data frame

面对的是这样一个问题，不断读入一行一行数据，append到data frame上，如果用dataframe, rbind() ，可以发现数据大的时候效率明显变低。

原因是每次bind 都是一次重新整个数据集的重新拷贝

这个链接有人测试了各种方案，似乎给出了最优方案

http://stackoverflow.com/questions/11486369/growing-a-data-frame-in-a-memory-efficient-manner

library(data.table)

dt <- data.table(x=rep(,), y=rep(,))

tracemem(dt)

for(i in :) {

  dt[i,x := runif()]

  dt[i,y := rnorm()]

}

data table 可以说是必备的r package。

这也是我尝试多种方案后最终采用的办法。

这里有介绍data.table 的具体用法

http://cran.r-project.org/web/packages/data.table/data.table.pdf

有个问题，赋值一行难道用一定要用 dt[x, 1:100 := list(xx)] 这样？

注意RHS 等号右侧一定要是一个List，不能是vector

另外几个R 的技巧：

时常运行下gc()，回收内存（这就是为啥你workspace 没有object但内存仍然居高不下的原因）
部分大的object，可以单独save()，需要的时候Load，不要最后存在image 里
r中的hash package 很好用
并行我用的是 parallel包，简单易用

system.time(

{

  x <- :wb2.userNum

  cl <- makeCluster(, outfile='sim.log')

  clusterExport(cl, c("set_similarity","printf","wb2.follow2.set", "wb2.userNum"))

  results <- parLapply(cl, x, para_func_sim)

  print("results ok")

  wb2.follow.sim <- do.call('rbind', results)

  stopCluster(cl)

})

最后，多利用data table 的statistical 和apply系列函数，真的可以事半功倍！

巴特西

R 语言中 data table 的相关，内存高效的增量式 data frame

最新文章

热门文章

巴特西

R 语言中 data table 的相关，内存高效的 增量式 data frame

最新文章

热门文章

R 语言中 data table 的相关，内存高效的增量式 data frame