当前位置: 首页 > 编程日记 > 正文

php 几十万数据导出到csv

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

参考资料 : https://blog.csdn.net/tim_phper/article/details/77581071 https://www.imooc.com/wenda/detail/316785


/*** 下载/导出到csv文件* @param $title  标题栏标题* @param $data : array($count = M(表名)->where($where)->count(), $data_model = M(表名)->where($where)->order($order))* @param $sqlLimit  单文件允许写入最大行* @param $mark  文件名标记信息名称* @param $func  回调函数处理查询出来的数据*/
function downloadCsv(array $title, $data, $sqlLimit = 10000, $mark = 'test', $func = '')
{set_time_limit(0);$sqlCount = $data[0];$max_line_perfile = 100000;  //单文件允许写入最大行// 输出Excel文件头,可把user.csv换成你要的文件名header('Content-Type: application/vnd.ms-excel;charset=utf-8');header('Content-Disposition: attachment;filename="' . $mark . '.csv' . '"');header('Cache-Control: max-age=0');//临时文件的删除处理$path = "./Upload/export/" . date('Ymd');//判断目录存在否,存在将删除目录下所有文件if (is_dir($path)) {rmdirr($path);} if (!is_dir($path)) {//创建目录mkdir(iconv("UTF-8", "GBK", $path), 0777, true);}//每次只从数据库取最大数目以防变量缓存太大// 每隔$limit行,刷新一下输出buffer,不要太大,也不要太小$limit = $sqlLimit;// buffer计数器$cnt = 0;$fileNameArr = array();// 逐行取出数据,不浪费内存for ($i = 0; $i < ceil($sqlCount / $sqlLimit); $i++) {$tmp_filename = $path . '/' . $mark . '_' . $i . '.csv';$fp = fopen($tmp_filename, 'w'); //生成临时文件// chmod('attack_ip_info_' . $i . '.csv',777);//修改可执行权限$fileNameArr[] = $tmp_filename;// 将数据通过fputcsv写到文件句柄foreach ($title as $key => &$value) {$value = iconv("UTF-8", "GBK", $value);}fputcsv($fp, $title);$dataArr = $data[1]->limit($i * $sqlLimit, $sqlLimit)->select();foreach ($dataArr as $a) {if($func) { $func($a); }//判断是否为多维数组来决定是一次写几行if(count($a) == count($a, 1)){  //一维数组if($sqlLimit > $max_line_perfile){//限制一个文件不超过最大行exit('下载单文件数目过大,请重新设置');}$cnt++;if ($limit == $cnt) {//刷新一下输出buffer,防止由于数据过多造成问题ob_flush();flush();$cnt = 0;}fputcsv($fp, $a);} else {if(($sqlLimit * count($a))  > $max_line_perfile){//限制一个文件不超过100000行exit('下载单文件数目过大,请重新设置');}foreach ($a as $a_v) {$cnt++;if ($limit == $cnt) {//刷新一下输出buffer,防止由于数据过多造成问题ob_flush();flush();$cnt = 0;}fputcsv($fp, $a_v);}}}fclose($fp);  //每生成一个文件关闭}//进行多个文件压缩$zip = new ZipArchive();$filename = $path . '/' . $mark . ".zip";$zip->open($filename, ZipArchive::CREATE);   //打开压缩包foreach ($fileNameArr as $file) {$zip->addFile($file, basename($file));   //向压缩包中添加文件}$zip->close();  //关闭压缩包foreach ($fileNameArr as $file) {unlink($file); //删除csv临时文件}//输出压缩文件提供下载header("Cache-Control: max-age=0");header("Content-Description: File Transfer");header('Content-disposition: attachment; filename=' . date('YmdHis').'_'.basename($filename)); // 文件名header("Content-Type: application/zip"); // zip格式的header("Content-Transfer-Encoding: binary"); //header('Content-Length: ' . filesize($filename)); //@readfile($filename);//输出文件;unlink($filename); //删除压缩包临时文件
}

引用片段

$title = array("ID\t","用户名\t","币种\t","变动资金\t","剩余资金\t","日志类型\t","行为\t","日志描述\t","IP\t","产生路径\t","时间\t");$where = preg_replace('/a\./', 'c.', $where);$where = preg_replace('/b\./', 'd.', $where);$data_model = M('user_coinlog as c')->join('LEFT JOIN basanyi_user as d on c.userid = d.id')->where($where)->field('d.username,c.*')->order('c.id desc');downloadCsv($title, array($count, $data_model), 50000, 'user_trade', function(&$data){//数据处理显示$data['add_time'] = addtime($data['add_time']);//排序并排除不需要的字段$tmp_data = [];$tmp_data[0] = $data['id'];$tmp_data[1] = $data['username'];$tmp_data[2] = $data['coin_name'];$tmp_data[3] = $data['effect'];$tmp_data[4] = $data['total'];$tmp_data[5] = $data['log_type'];$tmp_data[6] = iconv("UTF-8", "GBK", $data['action']);$tmp_data[7] = iconv("UTF-8", "GBK", $data['content']);$tmp_data[8] = $data['ip'];$tmp_data[9] = $data['node'];$tmp_data[10] = $data['add_time'];$data = $tmp_data;});

转载于:https://my.oschina.net/u/3171768/blog/1942412

相关文章:

恍然大悟之原、反、补

曾在很多书籍中看到过关于原码、反码和补码的介绍&#xff0c;都未能够深入理解。今在Richard Blum编写的《汇编语言程序设计》一书中读到关于带符号整数一节的讲解时&#xff08;确切的说是其中的一句话&#xff09;&#xff0c;的确有茅塞顿开、恍然大悟之感。原文如下&#…

Android中的多线程(字节跳动)

文章目录Handler机制(Android中的消息队列机制)Handler机制为Android系统解决了以下两个问题Handler常用方法Handler的使用补充知识点Handler原理辨析Runnable/Message扩展知识&#xff1a;ANRHandler总结Android中的多线程概念&#xff1a;进程与线程(Process and Thread)Andr…

利用ZYNQ SOC快速打开算法验证通路(5)——system generator算法IP导入IP integrator

一、前言 利用FPGA设计算法一直以来都是热点&#xff0c;同样也是难点。将复杂的数学公式 模型通过硬件系统来搭建&#xff0c;在低延时 高并行性等优势背后极大提高了设计难度和开发周期。Xilinx公司的sysGen&#xff08;system generator&#xff09;工具扩展了MATLAB的simul…

JS下计算当前日期(当天)后N天出现NAN或者undefined的情况

前言&#xff1a; 帮客户做一个订单系统&#xff0c;需要一个日期1&#xff0c;一个日期2&#xff0c;默认情况下日期1为当天&#xff0c;日期2为明天&#xff0c;只是当时有些疑惑的是日期2偶尔会出现NAN的情况&#xff0c;今天在segmentfault.com看到了同样的问题&#xff0c…

VCL 中的 Windows API 函数(6): BeginDeferWindowPos

BeginDeferWindowPos 和 DeferWindowPos、EndDeferWindowPos 是一组一起使用的函数, 可对一组窗口的位置、大小、Z 序等进行调整, 在 ExtCtrls 单元有用到.下面先用常规方法实现对 Panel1 中的一组 Button 进行调整, 然后再用上面三个函数重新实现.本例效果图:代码文件:unit Un…

base64格式的图片数据如何转成图片

base64格式的图片数据如何转成图片 一、总结 一句话总结&#xff1a;不仅要去掉前面的格式串&#xff0c;还需要base64_decode&#xff08;&#xff09;解码才行。 1 // $base_img是获取到前端传递的值2 $base_img str_replace(data:image/jpg;base64,, , $base_img);3 // 设…

拷贝构造函数和赋值函数的一些知识

/*******************拷贝构造函数和赋值运算符重载有以下两个不同之处***************************/ 1.拷贝构造函数生成新的类对象&#xff0c;而赋值运算符不能。 2.由于拷贝构造函数是直接构造一个新的类对象&#xff0c;所以在初始化这个对象之前不用检验源对象是否和新对…

代码重构之三种取代类型码(类、子类、状态对象或策略对象)的方式辨析

1.以类取代类型码 适用情况&#xff1a;类之中有一个数值类型码&#xff0c;但它并不影响类的行为。 重构手段&#xff1a;以一个新的类替换该数值类型码。 重构类图示意&#xff1a; 这里的“不影响类的行为”是什么意思呢&#xff1f; 类型码往往和switch语句一起出现&#…

NHibernate之旅(11):探索多对多关系及其关联查询

本节内容 多对多关系引入多对多映射关系多对多关联查询1.原生SQL关联查询2.HQL关联查询3.Criteria API关联查询结语多对多关系引入 让我们再次回顾在第二篇中建立的数据模型&#xff1a; 在图上&#xff0c;我已经清晰的标注了表之间的关系&#xff0c;上两篇分析Customer和Ord…

自动化运维—saltstack

2019独角兽企业重金招聘Python工程师标准>>> 自动化运维——saltstack 、ansible 一、自动化运维介绍 传统运维&#xff1a;传统运维效率低&#xff0c;大多工作需要人工完成&#xff0c;工作繁琐&#xff0c;容易出错&#xff0c;每日重复做相同的事情&#xff0c;…

史上最浅显易懂的Git教程!

Git初学者很好的一篇教程 mark : ) http://www.liaoxuefeng.com/wiki/0013739516305929606dd18361248578c67b8067c8c017b000 转载于:https://www.cnblogs.com/anthony0859/p/3900327.html

狎昵关系和依恋情结辨诠

Inappropriate Intimacy&#xff08;狎昵关系&#xff09; 表现&#xff1a;两个classes过于亲密&#xff0c;花费太多时间去探究彼此的private成分 解决&#xff1a;你可以采用 Move Method 和 Move Field 帮它们划清界线&#xff0c;从而减少狎昵行径。你也可以看看是否运用…

win2000.win2003关闭端口详解--防黑必备

我相信有很多人都不知道自己开了什么端口.更加不知道怎么关闭端口. 你可以用查看端口的软件查看. 也可以通过在运行里输入"cmd" 在弹出的cmd命令行里输入 netstat -an 来查看自己开放端口.ip地址的后面的就是端口号. 以下是我自己写的一篇关于关闭端口的详细步骤和多…

网站基于vs,复选框,单选款

前端代码&#xff1a; <% Page Language"C#" AutoEventWireup"true" CodeFile"Default2.aspx.cs" Inherits"Default2" %><!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.or…

thinphp 整合ueditor

我的ueditor是部署在public/editor 部署前台页面 <script type"text/javascript" > var UEDITOR_HOME_URL: "__PUBLIC__/ueditor/" </script><script id"container" name"$des" type"text/plain">这里写你…

笔画宽度变化(C++和matlab算法)

最近一直在看工作方面的书籍&#xff0c;把论文的事情搁置了&#xff0c;之前承诺的贴代码的事一直拖。现在把代码整理发上来&#xff0c;只有核心部分的&#xff0c;都不是我写的&#xff0c;我是网上整理下载的&#xff0c;matlab代码的效果比较差。 全部文件网盘下载地址:ht…

bzoj1227: [SDOI2009]虔诚的墓主人(树状数组,组合数)

传送门 首先&#xff0c;对于每一块墓地&#xff0c;如果上下左右各有$a,b,c,d$棵树&#xff0c;那么总的虔诚度就是$C_k^a*C_k^b*C_k^c*C_k^d$ 那么我们先把所有的点都给离散&#xff0c;然后按$x$为第一关键字&#xff0c;$y$为第二关键字&#xff0c;那么同一横坐标的一定在…

[导入]源代码版本控制(一)

开发过程当中源代码的版本控制一直是个大问题。项目规模小了还好办&#xff0c;人的脑子还能记过来&#xff0c;项目大了&#xff0c;可能用各式各样的表格来记录版本信息和源代码内容&#xff0c;但这个办法本身的文档组织又是个问题&#xff0c;谁来维护&#xff1f;谁来更改…

重构技巧分别能够解决哪些代码味道

1.提炼类可以解决的5种代码味道&#xff1a; 过大类 重复代码 基本类型偏执 令人迷惑的暂时值域 狎昵关系 2.将类内联化可以解决的3种代码味道 冗赘类 夸夸其谈的未来性 霰弹式修改 3.隐藏委托关系解决的2种代码味道 狎昵关系 过度耦合的消息链 4.复制被监视的数据 过大类 5.以…

python爬取电影和美食数据实战

本文使用的是requests正则来匹配网页内容&#xff0c;对于数据量较多的采用了多线程抓取的方法&#xff0c;共3个案例&#xff0c;分别是抓取猫眼电影TOP100榜单和淘票票正在热映的电影信息、以及美团的美食数据。这几个案例采用的方法大同小异。1、首先选择想要爬取的网站2、确…

Asp.Net页面执行流程分析

在我的上一篇文章中说到了HttpModule、HttpHandle的简单使用&#xff0c;我们可以利用它们在页面请求的过程中加入自己的事件处理程序。那么在一个aspx页面请求时后台到底做了什么&#xff1f;当然asp.net做了很多事情&#xff0c;过程也比较复杂&#xff0c;本文主要分析一下大…

正则验证非法字符

function regText(text){var reg /^[\s\u4e00-\u9fa5a-z0-9_-]{0,}$/;if(!reg.exec(text)){console.log("非法字符")}else{console.log("有效字符")} } regText("abc") 验证 &#xff1a;汉字、英文、数字、下划线、中划线、空格 转载于:https…

活动排序工具之双代号网络(AOA)与单代号网络(AON)[cont.]

箭线图ADM/双代号网络AOA 图示 箭线表示活动 节点表示一个活动的开始或结束 三要素&#xff1a;结点、箭线、线路 唯一使用虚活动的活动排序工具&#xff0c;虚活动用虚线箭头表示&#xff0c;没有历时&#xff0c;不需资源&#xff0c;只表达活动关系的需要 只使用一种活动之…

并发任务的可视化

一、任务要求&#xff1a;在linux系统中设计一个父进程&#xff0c;三个子进程(A,B,C)。子进程A,B同时被父进程启动来计算&#xff08;不实现具体的计算任务&#xff0c;先用CPU空跑来代替&#xff09;。进程A计算5分钟&#xff0c;而进程B计算8分钟。当进程A,B都计算完成后才能…

银监会警示担保圈贷款风险 联保贷款变异 防多米诺效应

互保联保本是解决小微企业以及农村金融贷款需求的重要创新&#xff0c;但却在部分行业、部分地区逐渐变异&#xff0c;成为引发风险事件的诱因。 据媒体报道&#xff0c;银监会近日发文要求加强企业担保圈贷款风险的防范和化解工作。银监会警示&#xff0c;担保圈企业风险较高的…

SharePoint 2007 系列(4) -Site Settings

Site administration 转载于:https://www.cnblogs.com/xuxiaoguang/archive/2008/11/05/1326913.html

软件项目管理重点总结

文章目录概论走进项目管理把控环境&#xff0c;控制过程整合项目资源控制项目范围保障项目进度驾驭项目成本保证项目质量协调项目人力资源改善项目的沟通应对项目风险关注项目的采购和外包概论 项目的定义&#xff1a;为创造一个特定的产品、服务或者成果而采取的临时性的努力…

jQuery发送含有数组参数的ajax请求以及后台Struts2的OGNL解析错误

当使用jquery1.3以上版本时&#xff0c;进行ajax参数传值时&#xff0c;会出现以下的一个错误: ognl.ExpressionSyntaxException: Malformed OGNL expression: f[] [ognl.ParseException: Encountered " "]" "] "" at line 1, column 3. 这个错…