大数据学习之路又之从csv文件到sql文件的操作过程

根据前几天的测试，简单的做个总结

csv文件的字段说明：

1.将csv文件上传到虚拟机中

在SecureCRT中点击，创建目录，直接把文件从本地拖拽进去

我放在了/linmob/data的路径下，所以文件的位置是/linmob/data/sales_sample_20170310.csv

2.在hive命令行中建表，表名要与csv文件中的一一对应，人生建议字段类型都选择varchar

hive

create table sales_sample_20170310(day_id varchar(30),sale_nbr varchar(30),buy_nbr varchar(30),cnt varchar(30),round varchar(30)) row format delimited fields terminated by ',' ;

3.导入数据其中的路径 '/linmob/data/sales_sample_20170310.csv'和表名 sales_sample_20170310要修改成自己的

load data local inpath '/linmob/data/sales_sample_20170310.csv' overwrite into table sales_sample_20170310;

4.select验证数据是否导入，因为数据量大，一定要limit

select * from sales_sample_20170310 limit 10;

5.退出hive命令行，进入mysql，建表

exit;

mysql -uroot -proot

create table sales_sample_20170310(day_id varchar(30), sale_nbr varchar(30),buy_nbr varchar(30),cnt varchar(30),round varchar(30))charset utf8 collate utf8_general_ci;

6.退出mqsql，进入sqoop的bin目录下，到出数据到mysql数据库中，其中ip地址192.168.111.100、mysql数据库名tab、mysql用户名和密码root、mysql表名 sales_sample_20170310、hive路径名 /user/hive/warehouse/sales_sample_20170310都要换成自己的

hive路径名不清楚？到9870可以找到

./sqoop export --connect "jdbc:mysql://192.168.111.100:3306/tab?characterEncoding=UTF-8" --username root --password root --table sales_sample_20170310 --export-dir /user/hive/warehouse/sales_sample_20170310 --input-null-string "\\\\N" --input-null-non-string "\\\\N" --input-fields-terminated-by "," --input-lines-terminated-by "\\n" -m 1

7.数据导出

巴特西

大数据学习之路又之从csv文件到sql文件的操作过程

最新文章

热门文章