yum remove -y hadoop_* zookeeper* ranger* hbase_* ranger* hbase_* ambari-* hadoop_* zookeeper_* hbase* range* pig* hive* tez* mysql-* bigtop-* tuned-* ambari-* apache-maven* postgresql* hdp-select* cd /usr/lib/ rm -rf hadoop hbase zookeeper hcatalog

目录 一.配置时间同步 二.部署zookeeper(master节点) 1.使用xftp上传软件包至~ 2.解压安装包 3.创建 data 和 logs 文件夹 4.写入该节点的标识编号 5.修改配置文件 zoo.cfg 6.配置环境变量zookeeper.sh 7.修改目录的归属用户 8.拷贝文件到slave 9.修改目录的归属用户 10.写入每个节点的标识编号 三.启动 ZooKeeper master节点 slave1节点 slave2节点 四.部署HBase 五.启动hadoop 六.启

Hadoop 集群安装及原理:hdfs命令行操作:Java操作hdfs的常用API接口:动态添加删除数据节点. HBase 集群安装及原理:Hbase命令行操作:Java操作Hbase的常用API接口. Hadoop高级 MapReduce开发:Flume抽取日志:Hive安装及命令行操作及JDBC操作:通过Sqoop进行Hive和 MySQL之间的数据交换:MaHout入门: 分布式集群管理zookeeper集群安装及原理及Java常用操作接口. 大数据交换 Kafka集群安装及原理:Kafk

一.版本建议 Centos V7.5 Java V1.8 Hadoop V2.7.6 Hive V2.3.3 Mysql V5.7 Spark V2.3 Scala V2.12.6 Flume V1.80 Sqoop V1.4.5 二.Hadoop JDK地址: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html Hadoop地址: http://hadoop.apache.org

一.大数据介绍 1.大数据指的是所涉及的数据量规模巨大到无法通过人工,在合理时间内达到截取.管理.处理.并整理成为人类所能解读的形式的信息. 2.大数据,可帮助我们能察觉商业趋势.判断研究质量.避免疾病扩散.打击犯罪或测定即时交通路况等. 3.麦肯锡全球研究院(MGI)预测,到2020年,全球数据使用量预计达到35ZB(1ZB=1000EB,1EB=1000PB,1PB=1000TB,1TB=1000GB). 4.Google每天要处理的数据高达几百PB.百度每天处理数据几十PB.腾讯微信活跃用

>20161011 :数据导入研究    0.sqoop报warning,需要安装accumulo:    1.下载Microsoft sql server jdbc, 使用ie下载,将42版jar包放入sqoop的lib下,注意所有自动安装的hadoop相关软件被置于/usr/hdp目录下    2.sqoop list-databases --connect jdbc:sqlserver://172.4.25.98 --username sa --password sa12345    3.

前言 本人是由java后端转型大数据方向,目前也有近一年半时间了,不过我平时的开发平台是阿里云的Maxcompute,通过这么长时间的开发,对数据仓库也有了一定的理解,ETL这些经验还算比较丰富.但是由于Maxcompute是一个更简单的大数据开发平台,导致个人在分布式计算的底层一些知识比较薄弱,所以这次决定花几个月时间好好学习一下hadoop,后续当然也会开始spark的学习.个人感觉这块学习的东西还是比较多,同时也要不断的实践的,所以这趟学习之旅,希望能够记录自己的一些心得体会,供自己参考,

1.自定义侧滑删除组件 LeftSlider.vue <!-- 侧滑删除 组件 --> <template> <div class="delete"> <div class="slider"> <div class="content" @touchstart='touchStart' @touchmove='touchMove' @touchend='touchEnd' :style=&quo

目录: 一.本地数据集上传到数据仓库Hive 二.Hive的基本操作 三.Hive.Mysql.HBase数据互导 正文: 一.本地数据集上传到数据仓库Hive 1.实验数据集的下载 2.数据集的预处理 ⁃ 1)删除文件第一行记录 ⁃ sed -i '1d' filename #1d表示删除第一行,同理,nd表示删除第n行 ⁃ 2)对字段进行预处理 3.把得到的.txt文件导入Hive 基本思路:先将.txt文件上传到分布式文件系统HDFS,然后在Hive中创建一个外部表,完成导入 • 1)启动

安装过程分3步走: 1.安装namenode主机一台; 2.安装datanode主机三台; 3.启用集群的三大组件: HDFS,Mapreduce,Yarn. 重要的事情: 新建的虚拟机,预备安装hadoop的disk必须扩容到至少20G,否则后面集群起不来.如果遗漏,请重启主机和服务,扩容才会生效. 一, 安装namenode主机一台,命名主机名称为nn1 1. 配置主机名为nn01,ip为192.168.1.60,配置yum源 [root@nn1 ~]# vim /etc/yum.repos

安装与Spark相关的其他组件的时候,例如JDK,Hadoop,Yarn,Hive,Kafka等,要考虑到这些组件和Spark的版本兼容关系.这个对应关系可以在Spark源代码的pom.xml文件中查看. 一. 下载Spark源代码 打开网址https://github.com/apache/spark,例如选择v2.4.0-rc5版本,再点击“Clone or download”按钮,点击下方的“Download ZIP”进行下载. 二.查看pom.xml文件将下载的源代码压缩包解压后,打开里

目录 HBase实验步骤: 1.配置时间同步(所有节点) 2.部署HBase(master节点) 3.配置HBase(master节点) 4.拷贝文件到slave节点 5.修改权限,切换用户(所有节点) 6.启动hadoop(master节点) 7.启动hbase(master节点) 8.查看浏览器页面 9.hbase语法应用(master节点) 10.关闭hbase(master节点) HBase实验步骤: 需要在Hadoop-全分布式配置的基础上进行配置 1.配置时间同步(所有节点) [ro

支持多作者的wordpress博客,有时需要审核他们的文章内容,虽然UGC(User-generated content)整体是好的,但是也要控制一下质量,实在不相关或spam的文章就要毫不手软的删除.日志的记录已经删除了,但是日志扩展表 postmeta 里面的数据还没有删除,也人工清理下吧,减少数据库的占用 DELETE pm FROM wp_postmeta pm LEFT JOIN wp_posts wp ON wp.ID = pm.post_id WHERE wp.ID IS NULL

最近学习了下resin,出了个问题,它默认端口是8080,跟Tomcat冲突了,我在使用的时候遇到了个奇怪的事情,resin4.0一直占用着我的8080端口,哪怕我用dos命令把它强制停止,不出五秒钟,它又换一个Pid继续占着我的端口,后来经老师告知识服务的原因,设置了服务,自启动的. 如何卸载服务: 首先打开服务,知道自己没用的服务叫什么名字 接着以管理员模式运行cmd,在控制台输入以下命令: sc delete “服务名” (如果服务名中间有空格,就需要前后加引号) 比如    sc  de

1.1.启动集群 sbin/start-dfs.sh注:这个启动脚本是通过ssh对多个节点的namenode.datanode.journalnode以及zkfc进程进行批量启动的. 1.2.启动NameNode sbin/hadoop-daemon.sh start namenode1.3.启动DataNode sbin/hadoop-daemon.sh start datanode1.4. 启动 MR的HistoryServer sbin/mr-jobhistory-daemon.sh st

SELECT b.name AS tablename , a.rowcnt AS datacount FROM sysindexes a , sysobjects b WHERE a.id = b.id AND a.indid < 2 AND OBJECTPROPERTY(b.id, 'IsMSShipped') = 0 ORDER BY a.rowcnt DESC SELECT t.NAME AS TableName , s.Name AS SchemaName , p.rows AS Row

参见 http://www.cnblogs.com/tommyli/p/3418273.html

Why? Hadoop集群组件太多，默认端口无法记住，有事后需要查看，就在这里罗列下这里包含我们使用到的组件：HDFS, YARN, Hbase, Hive, ZooKeeper。 What? 端口 作用 9000 fs.defaultFS，如：hdfs://172.25.40.171:9000 9001 dfs.namenode.rpc-address，DataNode会连接这个端口 50070 dfs.namenode.http-address 50470 dfs.namenode.http

http://blog.csdn.net/kaitiren/article/details/45071997 此总结由自己经验及网上收集整理优化内容 包括: .代码方面: .函数使用方面: .ui注意方面: .数学运算方面: .内存方面: .垃圾回收方面 等等... 本着相互交流 共同进步的原则 U3D开发性能优化笔记: .NGUI: Atlas优化; .poolmanager使用; .控制同屏drawcall次数; .SHADER优化顶点和运算; .合批与动态剔除; .逻辑部分优化;(如看到不

http://www.xuanyusong.com/archives/3727 感谢楼下的牛逼回复更正一下,我表示我也是才知道.. 其实不需要实例化也能查找,你依然直接用GetComponentsInChildren<>(true),对传true即可...这样搞还很麻烦...唯一关注是能否把Missing的脚本序列化找出来?? 使用 GetComponentsInChildren<>(true) 可以直接把Project视图里的子对象找出来!!!! return; 代码是这样的