1.nio实现读取大文件,之后分批读取写入数据库 2.nio实现读取大文件,之后分批写入指定文件 package com.ally; import java.io.File; import java.io.RandomAccessFile; import java.nio.ByteBuffer; import java.nio.channels.FileChannel; import java.sql.*; /** * Created by admin on 2016/6/28. * 1.nio

我用到的数据库为,mysql数据库5.7版本的 1.首先自己准备好数据库表 其实我在插入1000万条数据的时候遇到了一些问题,现在先来解决他们,一开始我插入100万条数据时候报错,控制台的信息如下: com.mysql.jdbc.PacketTooBigException: Packet for query is too large (4232009 > 4194304). You can change this value on the server by setting the max_al

//批量添加20000条数据用时8秒. try {    String url = "jdbc:oracle:thin:@IP:1521:orcl"; // orcl为数据库的SID    String user = "oracle";    String password = "oracle";    StringBuffer sql = new StringBuffer();    sql.append("insert into e

本文转载自http://blog.csdn.net/liubo5005/article/details/7239935 先上代码: import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.Statement; public class TestSql { public static void main(String[] args) t

    这两个对象的区别: 1.Statement它更适合执行不同sql的批处理,它没有提供预处理功能,性能比较低. 2.PreparedStatement它适合执行相同的批处理,它提供了预处理功能,属性比较高.            /**       * @param args       * @throws SQLException       * @throws ClassNotFoundException       */      public static void main(St

1.提取单条记录 //import java.sql.*; Connection con=null; Statement stmt=null; ResultSet %%6=null; try { Class.forName("sun.jdbc.odbc.JdbcOdbcDriver"); String url="jdbc:odbc:"+%%1; con=DriverManager.getConnection(url,%%2,%%3); stmt=con.create

public static void main(String[] args) throws SQLException { 2 3 4 String driver="oracle.jdbc.driver.OracleDriver"; 5 String url="jdbc:oracle:thin:@www.ee.w.www:1521:orcl"; 6 String user="rrr"; 7 String password="rrr&quo

一 .事务的几个重要特性 1. 原子性 事务内的每个内容不可分割,是一个统一的整体.或同时进行或同时消亡. 2.一致性 事务执行前和事务执行后,状态都是统一的.如A转B 100元,A和B数据总额度没有在这个转账过程中增加或者减小. 3.隔离性[isolation] 事务的隔离性指的是几个事务同时执行,事务a不应该干扰到事务b内的操作(在并发过程中很有可能会发生事务间的影响,例如脏读.不可重复读等.需要在编程的时候选择适当的方式进行选择) 3.可持久性 事务执行后的结果可以存储(序列化)到硬盘上,

public void exec(Connection conn){ try { conn.setAutoCommit(false); Long beginTime = System.currentTimeMillis(); //构造预处理statement PreparedStatement pst = conn.prepareStatement("insert into t1(id) values (?)"); //1万次循环 for(int i=1;i<=100000;i+

                                                                                                                                                                                                                         + 目录 目录 1 基础篇 4 一.JDK常用的包 4 二. Ge

一.AccessToMySql 最近做了一个Access数据库导入MySql的小工具,期间遇到诸多问题,这里小计一下. 表名为cur_rec,共有5个字段 比较奇葩的是这个表居然是四个字段的联合主键,要实现的功能为从Access数据库里面导一个时间段的数据到Mysql,例如:起始日期:2015-02-27  截止日期:2015-03-02 一开始是准备用ODBC,后来觉得还要配置数据源,比较麻烦,还有路径问题(后续会制作成.exe) 于是下载了一个Access_JDBC30.jar的驱动(官网的

大家可能会遇到这样的问题,在做一个项目时需要操作数据库,需要有大量的数据需要导入到数据库中,这部分数据存到了txt文档中(可以把Word文档中的数据弄到txt文档),总不能每一条数据都复制黏贴到数据库,10k条,100k条甚至100000k条记录呢?接下来,小李帮您使用Java完成28秒导入2万条记录. 首先需要从文档中读取数据,这就用到了Java对文档的操作: 其次截取字符串,把取到的数据按照一定的规则截成自己需要的格式: 最后,将每一条记录插入到数据库中.  上代码: public clas

因前段时间去面试,问到如何高效向数据库插入10万条记录,之前没处理过类似问题,也没看过相关资料,结果没答上来,今天就查了些资料,总结出三种方法: 测试数据库为MySQL!!! 方法一: public static void insert() { // 开时时间 Long begin = new Date().getTime(); // sql前缀 String prefix = "INSERT INTO tb_big_data (count, create_time, random) VALUE

本文主要通过批量与非批量对比操作的方式介绍MongoDB的bulkWrite()方法的使用.顺带与关系型数据库MySQL进行对比,比较这两种不同类型数据库的效率.如果只是想学习bulkWrite()的使用的看第一部分就行. 测试环境:win7旗舰版.16G内存.i3处理器.MongoDB3.0.2.mysql5.0 一.MongoDB批量操作 MongoDB对数据的操作分为Read Operations和Write Operations,Read Operations包含查询操作,Write O

一.概念 PreparedStatement是用来执行SQL查询语句的API之一,Java提供了 Statement.PreparedStatement 和 CallableStatement三种方式来执行查询语句,其中 Statement 用于通用查询, PreparedStatement 用于执行参数化查询,而 CallableStatement则是用于存储过程.同时PreparedStatement还经常会在Java面试被提及,譬如:Statement与PreparedStatement的

JDBC(Java DataBase Connection),java数据库连接,是一种用于执行SQL语句的Java API,可以为多种关系数据库提供统一访问,它由一组用Java语言编写的类和接口组成.JDBC提供了一种基准,据此可以构建更高级的工具和接口,使数据库开发人员能够编写数据库应用程序,同时JDBC也是个商标名. 简单地说,JDBC可做三件事: 1.与数据库建立连接: 2.发送操作数据库的语句: 3.处理结果. JDBC开发的六个基本步骤 1.加载Driver 2.获得数据库连接(Co

1.Java.io.ByteArrayOutputStream.writeTo()方法实例 java.io.ByteArrayOutputStream.writeTo(OutputStream out) 方法写入该字节数组输出流的内容到指定的输出流参数. 2.xiecheng的数据库都是用的Mysql,不用Oracle.不用SQLServer,因为SQLServer有漏洞,不安全. 3.数据库等连接必须关闭. 参考: package com; import java.sql.Connection

由于项目需要,需要将一个6M的txt中的数据插入到oracle数据表中.txt中的数据是每行一个词.经过统计,词总数是505040.为了看起来方便,我将我的所有方法写在类入口中,数据库的信息我会用test代替,代码如下. public static void main(String[] args) throws IOException, Exception { // TODO Auto-generated method stub Connection conn = null; Class.for

1. package com.zy.demo; import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.SQLException; import java.util.Date; import java.util.concurrent.locks.ReentrantLock; public class BatchInsert exten

简介:JDBC 中的语句处理 在 JDBC 应用程序中,JDBC 语句对象用于将 SQL 语句发送到数据库服务器.一个语句对象与一个连接相关联,应用程序与数据库服务器之间的通信由语句对象来处理. JDBC 中有三种类型的语句对象: 常规语句(General statement) 预置语句(Prepared statement) 可调用语句(Callable statement) 语句对象与一个连接相关联,所以要创建一个语句对象,首先应该建立一个数据库连接. 创建连接 清单 1 中的代码示例演示了

首先来说一下连接了数据库之后执行的sql语句:通常连接了数据库之后,我们就会获得statement 类的对象或者是他的子类的对象(PreparedStatement类),通过这个对象我们就可以利用它提供的方法来操纵数据库了. Statement提供了三种方法来执行sql语句: 1,execute:可以执行在任何的sql语句,但是比较麻烦,通常我们不会选择这一种的但是如果在不清楚SQL语句的类型时,那只能使用execute来执行sql语句了. 2,executeUpdata:主要用于执行DML与D