Linux大文件快速处理小方法
2024-08-28 20:42:53
- 背景
工作中使用MapReduce任务导出一批含有路径的文件,共计行数300W+,需要检测文件是否在对应的服务器中存在,而文件所在的服务器并非hadoop集群的服务器,因此打算采用bash脚本进行。具体的方法如下(可直接看方法2,方法1效率较低):
2. 采用的方法
a. 方法1
原本打算使用如下脚本,进行简单验证:
#!/bin/bash
count=
cat oriTest.txt | while read data
do
count=$(( $count+ ))
echo $count
dir=`echo "$data" | awk -F "\t" '{print $5}'`
if [ -e $dir ];then
echo "$data" >> exist.txt
else
echo "$data" >> noexist.txt
fi
done
原始数据格式如下:
1 name mark id dir
运行时发现处理5000行需要将近4、5分钟的时间(机器为8核),果断不行啊,随后打算采用多进程的方法来执行,见方法2
b. 方法2
主要是通过将大文件分为小文件,然后对小文件进行后台遍历读取,脚本如下:
#!/bin/bash source ~/.bashrc # 判断路径是否存在
readdata(){
cat $ | while read data
do
dir=`echo "$data" | awk -F "\t" '{print $5}'`
if [ -e $dir ];then
echo "$data" >> "exist_$1.txt"
else
echo "$data" >> "noexist_$1.txt"
fi
done
} # 大文件切分为小文件,生成文件名为xaa,axb等(可以自己命名文件)
split -l oriTest.txt declare -a files # 声明数组
files=($(ls x*)) # 分割后的小文件名保存数组 # 遍历,并后台执行
for i in ${files[@]};do
echo $i
readdata $i &
done
执行效率因机器性能不同而不同,使用8核的机器执行300W的数据需要十几分钟完成
最新文章
- mysql存储过程 --游标的使用 取每行记录 (多字段)
- windows下mongodb权限设置解决方法
- NHibernate和 FluentNHibernate
- Iptables網路連線限制及攻擊防護和相關設定
- careercup-链表 2.6
- java String对象的创建(jvm).
- .Net 内存对象分析
- 一步一步创建ASP.NET MVC5程序[Repository+Autofac+Automapper+SqlSugar](九)
- JS随机数不重复
- iOS中 常用的mac终端指令汇总 技术分享
- 【代码笔记】Web-CSS-CSS background背景
- FFmpeg Commits on May 30, 2017 remove libschroedinger &; libnut
- jquery移除事件,绑定事件,触发事件
- Kotlin入门(1)搭建Kotlin开发环境
- 移动端tap与click的区别 &;&; 点透事件
- 做一次面向对象的体操:将JSON字符串转换为嵌套对象的一种方法
- 20155304《网络对抗》Exp2 后门原理与实践
- atom使用markdown
- PULL解析学习
- 整理ASP.NET MVC 5各种错误请求[401,403,404,500]的拦截及自定义页面处理实例
热门文章
- [转]VisualSVN错误 Cannot query proxy blanket解决办法
- 转载-ActiveMQ通过JAAS实现的安全机制
- ubuntu - 常用问题解决命令
- JavaWeb中MVC的使用--以管理系统举例
- weekly contest 115
- B - Pie (二分)
- oracle 集群jndi部署方式
- 资深专家深度剖析Kubernetes API Server第1章(共3章)
- Job for postfix.service failed because the control process exited with error code. See ";systemctl status postfix.service"; and ";journalctl -xe"; for details.
- eclipse 自定义 文档