java 生成千万条数据

java之5分钟插入千万条数据

虽说不一定5分钟就插入完毕,因为取决去所插入的字段,如果字段过多会稍微慢点,但不至于太慢.10分钟内基本能看到结果. 之前我尝试用多线程来实现数据插入(百万条数据),半个多小时才二十多万条数据. 线程池数据插入核心代码: ExecutorService executorService = Executors.newFixedThreadPool(); executorService.submit(new Runnable() { @Override public void run() { for

mysql自定义函数并在存储过程中调用，生成一千万条数据

mysql 自定义函数,生成 n 个字符长度的随机字符串 -- sql function delimiter $$ create function rand_str(n int) returns VARCHAR(255) BEGIN declare str VARCHAR(100) DEFAULT 'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSQUVWXYZ'; declare i int DEFAULT 0; declare res_str VAR

LOAD DATA INFILE读取CSV中一千万条数据至mysql

作业要求构建一个关系模式和课本中的关系movies(title,year,length,movietype,studioname,producerC)一样的关系,名称自定,在这个关系中插入1000万条记录. 注:关系movies的主键为(title,year). 要求如下: 在尽可能短的时间内完成: 只允许使用原生的SQL,不允许将SQL作为嵌入语言,也不允许使用其他语言如C#.Python等来完成: 提交你的详细解决方案和结果. 本文利用LOAD DATA INFILE将包含一千万条数据的C

[MyBatis]五分钟向MySql数据库插入一千万条数据批量插入用时5分左右

本例代码下载:https://files.cnblogs.com/files/xiandedanteng/InsertMillionComparison20191012.rar 我的数据库环境是mysql Ver 14.14 Distrib 5.6.45, for Linux (x86_64) using EditLine wrapper 这个数据库是安装在T440p的虚拟机上的,操作系统为CentOs6.5. 插入一千万条数据,一次执行时间是4m57s,一次是5m. 数据表的定义是这样的: C

腾讯面试题,js处理1千万条数据排序并且页面不卡顿

<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <meta http-equiv="X-UA-Compatible" con

orcle 如何快速插入百万千万条数据

有时候做实验测试数据用到大量数据时可以用以下方法插入: 方法一:使用xmltable create table bqh8 as select rownum as id from xmltable('1 to 10000000');select count(*) from bqh8; -----------------------一千万条数据已插入. 方法二:使用dual+connect by level create table bqh9 as select rownum as id from

快速生成100W条数据

快速生成100W条数据,生成的时候是顺序生成,取的时候是随机取用,生成100W条数据大概一分多钟,比网上其他代码速度要快很多 )) --truncate table tb --select top 1 id from tb order by NEWID() --select ID from tb where id ='190300' ) from tb SET NOCOUNT ON; begin ) ))) end begin insert into tb )),) ' waitfor dela

如何在mysql数据库生成百万条数据来测试页面加载速度

1.首先复制一条sql 在复制前,需要确定该记录是否有主键若无,则代码非常简单, "; 复制的表名↑ 粘贴的表名↑ ↑ 某个字段的值最好唯一若有主键,一般是ID,则需要随机生成新的ID INSERT INTO tb_swing_card ( swing_card_number, swing_card_device_id, swing_card_serial, swing_card

python+mysql:实现一千万条数据插入数据库

作业要求构建一个关系模式和课本中的关系movies(title,year,length,movietype,studioname,producerC)一样的关系,名称自定,在这个关系中插入1000万条记录. 注:关系movies的主键为(title,year). 要求如下: 在尽可能短的时间内完成: 只允许使用原生的SQL,不允许将SQL作为嵌入语言,也不允许使用其他语言如C#.Python等来完成: 提交你的详细解决方案和结果. 分析查资料得知可以将多条insert语句合并为一句,即一条

WebGIS项目中利用mysql控制点库进行千万条数据坐标转换时的分表分区优化方案

文章版权由作者李晓晖和博客园共有,若转载请于明显处标明出处:http://www.cnblogs.com/naaoveGIS/ 1. 背景项目中有1000万条历史案卷,为某地方坐标系数据,我们的真实需求是将地方坐标系坐标反转成WGS84坐标,如果现在需要将其转换成百度坐标系数据.常规方案是先建立好整个该市的本地坐标和百度坐标之间的控制点库后再进行转换.但是在具体实施中发现转换特别慢,由于控制点库也有200多万条记录,大概一个点需要一秒钟才能转换完. 2.将Update变成Insert关键字段值

java生成随机大数据文件

package iie.udps.test; import java.io.BufferedWriter; import java.io.File; import java.io.FileOutputStream; import java.io.IOException; import java.io.OutputStreamWriter; import java.util.Random; public class test { public static void main(String[] a

java 生成压测数据

询价接口压测,需要批量生成数据, 数据包括4个字段(车牌号,车架号,发动机号,支付号)licenseNo,vehicleFrameNo,engineNo,payFlowId 需符合LoadRunner 读取数据的格式 import java.io.File; import java.io.FileWriter; import java.io.IOException; import java.util.Random; public class Pattern{ public static void

为做个程序员英语字典，我处理了StackOverflow和HackerNews10年5千万条数据

有点标题党,不过都说都真实的.英语技能对开发员人员至关重要.所有人都不喜欢背单词,但更惨的是背住的单词发现没怎么用,又慢慢地忘记了.本来计划给自己做个开发人员常用单词表,感觉可能对其它人也有用,所以就发布开源出来. 单词列表托管在Github上,一共将近3000个. https://github.com/kkyon/Simple-IT-English 单词主要来自:StackOverflow 和HackerNew. Word Source: Source Newest Post Oldest

[MyBatis]向MySql数据库插入一千万条数据批量插入用时6分之前时隐时现的异常不见了

本例代码下载:https://files.cnblogs.com/files/xiandedanteng/InsertMillionComparison20191012.rar 这次实验的环境仍然和上次的一样,只是插入时间cdate改为一条增加一秒,代码如下: package com.hy.action; import java.io.Reader; import java.text.SimpleDateFormat; import java.util.ArrayList; import jav

python连接mysql循环插入千万条数据脚本

之前都是在mysql的存储过程中插入数据,毕竟mysql语法函数有限,很多都有限制.突然想到学了python正好可以练练手.首先需要安装pymysql模块包(模块包安装请自行百度) pip install pymysql mysql语句的符号一定要看清楚,否则运行不生成数据,运行结果又没有错误提示很难定位问题,博主就因为一个符号浪费大量的时间.不多说了,直接上代码(注意符合,注意符合,注意符合!!!) #encoding:utf-8 import pymysql import time impo

使用java生成备份sqlserver数据表的insert语句

针对sqlserver数据表的备份工具很多,有时候条件限制需要我们自己生成insert语句,以便后期直接执行这些插入语句.下面提供了一个简单的思路,针对mysql或oracle有兴趣的以后可以试着修改. 直接运行,即可生成txt文件,里面是insert语句.预览一下: 代码比较长,但逻辑还算清晰.原

【JDBC】使用Spring提供的JDBCTemplate通过Statement向MySql数据库插入千万条数据，耗时4m55s，使用insert语句批量插入方式二

这回依然是使用 insert批量插入这种方式 insert into emp(name,age,cdate) values ('A' , 20, '2019-10-13 00:00:00'), ('B' , 21, '2019-10-13 01:00:00'), ('C' , 22, '2019-10-13 05:00:00') 只是执行SQL的方式由stmt.executeBatch换成了stmt.execute,结果发现速度上几乎一样. 代码如下: package com.hy.action

【JDBC】使用Spring提供的JDBCTemplate通过PrepareStatement向MySql数据库插入千万条数据，耗时32m47s，速度提升有限

数据库环境还和原来一样,只是从Statement换成了PrepareStatement,都说PrepareStatement因为预编译比Statement快,但是实际运行真快不了多少. 代码如下: package com.hy.action.jdbc; import java.sql.Connection; import java.sql.PreparedStatement; import java.sql.SQLException; import java.sql.Timestamp; imp

[MyBatis]再次向MySql一张表插入一千万条数据批量插入用时5m24s

本例代码下载:https://files.cnblogs.com/files/xiandedanteng/InsertMillionComparison20191012.rar 环境依然和原来一样. 代码稍改了改: package com.hy.action; import java.io.Reader; import java.text.SimpleDateFormat; import java.util.ArrayList; import java.util.Calendar; import

1.由于测试某个功能，需要生成500W条数据的txt，python代码如下

txt内容是手机号,数量500W,采用python代码生成,用时60S,本人技能有限,看官如果有更快的写法,欢迎留言交流. import random f = open("D:\\data.txt",'a') for i in range(1000000): m_2 = random.choice(str(34567)) m_3 = str(random.randint(0,9)) m_4 = str(random.randint(10000000,99999999)) moblie

巴特西