mySQL and sqoop for ubuntu
数据的导入导出
——MySQL & sqoop in Ubuntu
1.完成搭建hadoop集群
2.安装MySQL
sudo apt-get install mysql-server mysql-client
sudo apt-get update //可能要这一句?
my.cnf -> #bind-address =127.0.0.1
3.安装Sqoop
1.解压
2.profile $SQOOP
3.conf
export hadoop balabala home *2
4.把MySQL启动拷入sqoop/lib
4.使用命令进行导入
(文档:sqoop1 、sqoop2使用示例)
sqoop list-databases --connect --username --password
sqoop import --target-dir -m 1
hdfs<->mysql
MySQL 安装
安装
sudo apt-get install mysql-server mysql-client
配置cnf
sudo gedit /etc/mysql/my.cnf //路径存疑
//找到如下内容,并注释
bind-address = 127.0.0.1
Sqoop 安装
1.解压
tar xvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
2.改profile
sudo gedit /etc/profile
加入以下内容
export SQOOP_HOME=/home/yuqiao/sqoop-1.4.6.bin__hadoop-2.0.4-alpha
export PATH=$PATH:$SQOOP_HOME/bin
source /etc/profile
3. 改sqoop-env.sh
sudo gedit SQOOP_HOME/conf/sqoop-env.sh
(如果没有就复制粘贴template)
加入以下内容:
#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/home/hadoop/hadoop-2.7.1
#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/home/hadoop/hadoop-2.7.1
4.放入mysql驱动
把mysql-connector-java-5.1.35.jar放入sqoop的lib文件夹
4.安装完成后简单验证(显示所有数据库)
sqoop list-databases --connect jdbc:mysql://master:3306/ --username root --password 1234
(password是自己的,其余内容不改)
如果报错说ERROR 1130: Host master is not allowed to connect to this MySQL server
就按顺序原封不动(与机子无关)运行下列语句:
mysql -u root -p
mysql>use mysql;
mysql>update user set host = '%' where user ='root';
mysql>flush privileges;
mysql>select 'host','user' from user where user='root';
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' with grant option;
方法来自博客:
http://www.blogjava.net/brock/archive/2009/04/13/265323.html
关掉该终端之后,重开,运行之前那句显示所有数据库,即可成功
最新文章
- 【java】jstack
- ndt histogram_direction
- extjs 学习小窍门
- mysql TIMESTAMP 报错
- jq div鼠标放上、离开马上展开、收缩方法
- MyEclipse项目中的包按层次显示
- Ubuntu如何安装secureCRT
- c语言中static的用法
- linux 下 apt命令集详解
- C#面向对象的一些笔记
- DataGridView添加复选框并向其中绑定值
- MEF初体验之十二:Composition Batch
- Win7+QTP10.0+IE9无法识别对象的解决方法
- 笔记:Spring Cloud Hystrix 封装命令
- 给vs2015添加EF
- Linux下PHP扩展pdo_mysql
- Matplotlib常用绘图示例
- 【CF850E】Random Elections FWT
- top k
- shiro用authc配置后登录成功后不能跳转到index页面
热门文章
- bzoj 1914: [Usaco2010 OPen]Triangle Counting 数三角形【叉积+极角排序+瞎搞】
- bzoj 2199: [Usaco2011 Jan]奶牛议会【2-SAT】
- svg image 图片无法铺满 circle 的问题解决
- hdu1166 敌兵布阵(树状数组)
- MySQL与Sqlserver数据获取
- 连接oracle出现的问题以及解决办法
- myeclipse中js文件报错
- LN : leetcode 53 Maximum Subarray
- DecorView 的创建
- Python多线程爬图&;Scrapy框架爬图