php - 从数据库导出百万级数据(CSV文件)
2024-08-30 19:23:41
将数据库连接信息、查询条件、标题信息替换为真实数据即可使用。
<?php
set_time_limit(0);
ini_set('memory_limit', '128M'); $fileName = date('YmdHis', time());
header('Content-Encoding: UTF-8');
header("Content-type:application/vnd.ms-excel;charset=UTF-8");
header('Content-Disposition: attachment;filename="' . $fileName . '.csv"'); //打开php标准输出流
//以写入追加的方式打开
$fp = fopen('php://output', 'a'); //连接数据库
$dbhost = '127.0.0.1';
$dbuser = 'root';
$dbpwd = '';
$con = mysqli_connect($dbhost, $dbuser, $dbpwd);
if (mysqli_connect_errno()) {
die('connect error');
}
//选择数据库
$database = 'test';
mysqli_select_db($con, $database);
//设置编码
mysqli_query($con, "set names UTF8"); //我们试着用fputcsv从数据库中导出1百万的数据
//我们每次取1万条数据,分100步来执行
//如果线上环境无法支持一次性读取1万条数据,可把$nums调小,$step相应增大。
$step = 100;
$nums = 10000;
$where = ""; //筛选条件 //设置标题
$title = array('ID','姓名','年龄','性别');
foreach($title as $key => $item) {
$title[$key] =iconv("UTF-8", "GBK", $item);
}
//将标题写到标准输出中
fputcsv($fp, $title); for($s = 1; $s <= $step; $s++) {
$start = ($s - 1) * $nums;
$result = mysqli_query($con,"SELECT * FROM `test` ".$where." ORDER BY `id` LIMIT {$start},{$nums}");
if($result) {
while($row = mysqli_fetch_assoc($result)) {
foreach($row as $key => $item) {
//这里必须转码,不然会乱码
$row[$key] = iconv("UTF-8", "GBK", $item);
}
fputcsv($fp, $row);
}
mysqli_free_result($result); //释放结果集资源 //每1万条数据就刷新缓冲区
ob_flush();
flush();
}
}
//断开连接
mysqli_close($con);
最新文章
- C#使用ADO.NET访问数据库(一)
- nGrinder性能测试平台搭建(LVS压力测试)
- INPC &; RaizePropertyChanged in mvvmlight
- Shell脚本——DHCP自动部署
- 【贪心】【POJ3154】墓地雕塑(Graveyard, NEERC 2006, LA 3708)需要稍稍加工的(先贪心,再确保能这样贪(可行性&;&;如果可行必定最优&;&;非证明最优性)的题)(K)
- U盘安装win7+CentOS7双系统
- 第一百三十四节,JavaScript,封装库--遮罩锁屏
- 云计算--网络原理与应用--20171122--STP与HSRP
- Android LruCache技术原理
- 1.4部署到IIS「深入浅出ASP.NET Core系列」
- freemarker根据模板生成word文件实现导出功能
- CodeForces - 95B(DFS)
- cannot find package ";context";
- Asp.net与office web apps的整合
- 【iCore4 双核心板_FPGA】例程四:Signal Tapll 实验——逻辑分析仪
- NOIP2018退役祭
- ubantu18.04下Hadoop安装与伪分布式配置
- Day 22 面向对象知识.
- Spring Boot之发送HTTP请求(RestTemplate详解)
- 2015.07.15——prime素数
热门文章
- Tiled 地图编辑器使用教程-官方demo
- 关于“importer.GetNPOTScale() == TextureImporter::kNPOTKeep”问题的简单处理方法
- java环境下wsimport编译Wsdl
- FTL(FreeMarker)基础
- cf914D. Bash and a Tough Math Puzzle(线段树)
- mysql测试和sysbench工具详解
- SVN中建立项目
- Android 修改TabLayout底部导航条Indicator的长短
- Java—多态
- 水晶报表分组,统计,求和,sum()函数使用