PHP读取大文件实践

## 使用PHP分析超大的日志文件如何使用php读取超过10G的文件，这个是今年四月份去一家公司面试时，面试官出的一道题目。因为工作经验不足，所以答的不好，当时也说了使用文件指针逐行读取，只是不知道使用什么函数。后来的几个月工作中，心中一直存在着这个问题，好在工作中没有碰到这样的应用场景。为了避免遗忘，还是把解决方案写出来，以备实际应用。

 function transBigFile($filename){

     $redis = new Redis();

     $redis -> connect('127.0.0.1',6379,3);

     $key = 'tmp:log:20161013';

     if($handler = fopen($filename,'rb')){

         while(!feof($handler)){

             $curline = fgets($handler);

             list($ip,$city_code) = explode(',', $curline);

             $ip = substr($ip,0,strpos($ip,'/')); //截取字符串部分字符

             usleep(100000);

             $redis -> zadd($key,$ip,$city_code);

             //$data = array_combine(['ip','city_code'] , [$ip,$city_code] );  //todo练习array_combine。这里这样用效率低下。

         }

     }

     fclose($hander);

 }

 set_time_limit(0);  //设置该脚本永不超时

 $filename = 'big.csv';

 transBigFile($filename);

巴特西

PHP读取大文件实践

最新文章

热门文章