Linux笔记：定时任务和文件操作

查看定时任务

crontab -l

注册定时任务

crontab -e
然后就像 vim 一样编辑自己的定时任务。
如：
* * * * * . /home/hadoop/timer/check_job.sh >> /home/hadoop/timer/logs/check_job.log

定时任务解析

*和*之间的空格，是必须的
*分别代表：分，时，日，月，周
1. 分 的取值范围为：0-59
2. 时 的取值范围为：0-23
3. 日 的取值范围为：1-31
4. 月 的取值范围为：1-12
5. 周 的取值范围为：0-7 
*后面是需要执行的命令

"." 代表是shell 命令，也可以使用 sh

">>" 前面的是需要定时调用的shell，后面是需要输出的 log 文件的位置

实例

1. * * * * * 代表每分钟执行一次，也可以写成 */1 * * * *，/1代表一分钟执行一次
2. 30 */1 * * * 代表每小时的 30 分执行一次

以下是对文件的操作

根据文件名称取得最大日期对文件

文件名称的格式为：filter_cache_20171101.se

max_date=0

# get the latest file and copy to hdfs

cd /home/hadoop/.../checkpoint/filter

for dir in $(ls -l ./ | awk '/^d/{print $NF}')

do

   if [[ -d $dir && $dir == *\_* ]]; then

      f_d=$(echo $dir | cut -d \_ -f 3 | cut -d \. -f 1)

      if [[ $max_date < $f_d ]]; then

        max_date=$f_d

        max_filter=$dir

      fi

   fi

done

echo " max date is : "$max_date

echo " max filter is : "$max_filter

复制最近日期对文件到hdfs

如果文件存在，提示已经存在

hadoop fs -test -e /data/.../bloom_filters/$max_filter

if [[ $? == 0 ]]; then

    echo " filter is already exist : "$max_filterF

else

    echo " start hdfs copy "

    hadoop fs -put $max_filter /data/.../bloom_filters

fi

设定需要删除过期文件的指定时间

remove_week=$(date -d "$max_date 7 days ago" +%Y%m%d)

echo " 删除本地序列化文件的日期界限："$remove_week

remove_date=$(date -d "$max_date 30 days ago" +%Y%m%d)

echo " 删除文件 和 Hadoop filter 的日期界限："$remove_date

删除指定日期30天以外的本地文件，并且删除小于指定日期7天以外的指定文件夹的文件

for r_dir in $(ls -l ./ | awk '/^d/{print $NF}')

do

   if [[ -d $r_dir && $r_dir == *\_* ]]; then

      r_d=$(echo $r_dir | cut -d \_ -f 3 | cut -d \. -f 1)

      if [[ $r_d < $remove_date ]]; then

          echo " remove filter_dir is: "$r_dir

          rm -r $r_dir

      elif [[ $r_d < $remove_week ]]; then

          echo " remove filter is: "$r_dir

          rm -r $r_dir/*.FILTER.SER

      fi

   fi

done

删除hdfs上指定日期30以外的文件

巴特西

Linux笔记：定时任务和文件操作

最新文章

热门文章