1. Java安装: Because everything work with java. $ sudo apt-get install openjdk-7-jdk 安装之后,可以查看java的版本信息: wu@ubuntu:~$ java -version java version "1.7.0_181" OpenJDK Runtime Environment (IcedTea 2.6.14) (7u181-2.6.14-0ubuntu0.2) OpenJDK 64-Bit Serv

Hadoop在处理海量数据分析方面具有独天优势.今天花了在自己的Linux上搭建了伪分布模式,期间经历很多曲折,现在将经验总结如下. 首先,了解Hadoop的三种安装模式: 1. 单机模式. 单机模式是Hadoop的默认模.当配置文件为空时,Hadoop完全运行在本地.因为不需要与其他节点交互,单机模式就不使用HDFS,也不加载任何Hadoop的守护进程.该模式主要用于开发调试MapReduce程序的应用逻辑. 2. 伪分布模式. Hadoop守护进程运行在本地机器上,模拟一个小规模的的集群.该

Ubuntu server 搭建Git server,git相比svn,最主要就是分布式了,每个客户端用户的本地都是一个版本管理控制器. Ubuntu server 版本为12.04 搭建步骤如下: 1.更新Ubuntu server 操作如下: $ apt-get update $ apt-get upgrade 如上命令更新并升级系统,防止在安装git过程中,出现部分依赖包没有安装. 2.安装openssh的server和client 其实通常情况下,Ubuntu server都默认安装了o

转自:http://www.linuxidc.com/Linux/2013-05/84693.htm Ubuntu Server搭建svn服务以及迁移方法 采用apache+svn,http访问方式. 先确定安装了apache,没有安装则用以下命令: sudo apt-get install apache2 然后安装subversion及svn-apache连接库: sudo apt-get install subversion sudo apt-get install libapache2-s

首先要了解一下Hadoop的运行模式: 单机模式(standalone)        单机模式是Hadoop的默认模式.当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置.在这种默认模式下所有3个XML文件均为空.当配置文件为空时,Hadoop会完全运行在本地.因为不需要与其他节点交互,单机模式就不使用HDFS,也不加载任何Hadoop的守护进程.该模式主要用于开发调试MapReduce程序的应用逻辑. 伪分布模式(Pseudo-Distributed

[转自:]http://blog.csdn.net/hitwengqi/article/details/8008203 最近一直在自学Hadoop,今天花点时间搭建一个开发环境,并整理成文. 首先要了解一下Hadoop的运行模式: 单机模式(standalone)       单机模式是Hadoop的默认模式.当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置.在这种默认模式下所有3个XML文件均为空.当配置文件为空时,Hadoop会完全运行在本地.因为不

转自:http://www.cnblogs.com/candle806/p/4064610.html Ubuntu server 搭建Git server,git相比svn,最主要就是分布式了,每个客户端用户的本地都是一个版本管理控制器. Ubuntu server 版本为12.04 搭建步骤如下: 1.更新Ubuntu server 操作如下: $ apt-get update $ apt-get upgrade 如上命令更新并升级系统,防止在安装git过程中,出现部分依赖包没有安装. 2.安

前面我搭建的Hadoop都是单机伪分布式的,并不能真正感受到Hadoop的最大特点,分布式存储和分布式计算.所以我打算在虚拟机中同时开启3台机器,实现分布式的Hadoop群集. 1.准备3台Ubuntu Server 1.1复制出3台虚拟机 我们可以用之前编译和安装好Hadoop的虚拟机作为原始版本,在VirtualBox中复制三台新的虚拟机出来,也可以完全重新安装一台全新的Ubuntu Server,然后在VirtualBox中复制出2台,就变成了3台虚拟机. 1.2修改主机名 主机名保存在/

Ubuntu server中搭建vsftpd小记 <h1> 在Ubuntu server中安装vsftpd</h1> sudo apt-get install vsftpd <h2>添加用户</h2> 搭建FTP的为了登录用户,不能查看其它目录,只能在自己的目录中操作文件,并且不能登录ssh 1. 添加用户:pinkrose 命令格式是:sudo useradd 用户名 -d 用户的登录目录 -s 登录时候的shell sudo useradd pinkro

1. 在Ubuntu server中安装ssh,如果是购买服务器的话,这已经是安装的了,包括vim 获取超级权限 先更新安装包 开始安装ssh ssh已经启动了 2. 安装Xshell并创建连接安装Xshell 建立连接 单击确定 3. Xshell实现Windows上传/下载文件到Ubuntu3.1上传文件获取超级权限 安装rz/sz工具 切到相应目录,在输入rz 3.2下载文件切入到相应文件夹,输入sz 文件名 4. 用root权限安装MySQL,需要安装以下三个1. apt-get ins

一直在忙Android FrameWork,终于闲了一点,利用空余时间研究了一下Hadoop,并且在自己和同事的电脑上搭建了分布式集群,现在更新一下blog,分享自己的成果. 一 .环境 1.操作系统:Ubuntu 12.04 LTS 64位 2.Java版本:openjdk-7-jdk 3.Hadoop版本:2.6.0 4.结点信息: 机器名 IP hostname 作用 master 10.13.14.83 rdcdz140395 NameNode and JobTracker slave-

stp1:在Vmware虚拟机上创建Ubantu.2环境 步骤:文件—>新建虚拟机—>典型(下一步)—>下一步——>位置(不建议放c盘,文件地址一定要全英文)—>下一步—>磁盘大小(20G搭建环境够用)—>自定义硬件(内存最好设置2G,不然慢得受不了)—>完成!(漫长得等待...) step2:修改主机名 临时修改主机名: 步骤:打开终端(右键,CTRL+ALT+T)—>输入 hostname (返回主机名,即@符号后得)—>输入 su 获得ro

一, 安装apache2服务器 sudo apt-get install apache2 二,安装mysql服务器 sudo apt-get install mysql-server 此时会提示输入Mysql服务器的密码 自己随意就好 三,安装php5 ubuntu14.04 || php7 ubuntu 16.04 sudo apt-get install php5 安装php的其他2个库,不然无法访问index.php sudo apt-get install libapache2-mod-

终于把单击模式跟伪分布式模式搭建起来了,记录于此. 1.SSH无密码验证配置 因为伪分布模式下DataNode和NameNode均是本身,所以必须配置SSH localhost的无密码验证. 第一步,安装并启动SSH: ~$ sudo apt-get install openssh-server ~$ sudo /etc/init.d/ssh start 第二步,生成公钥和私钥,并将公钥追加到authorized_keys中(authorized_keys用于保存所有允许以当前用户身份登录到ss

1 Hadoop的三种创建模式 单机模式操作是Hadoop的默认操作模式,当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,会保守地选择最小配置,即单机模式.该模式主要用于开发调试MapReduce程序的应用逻辑,而不会和守护进程交互,避免增加额外的复杂性. 伪分布模式操作是指在“单节点集群”上运行Hadoop,其中所有的守护进程都运行在同一台机器上.该模式在单机模式操作之上多了代码调试功能,可以查阅内存的使用情况.HDFS的输入输出以及守护进程之间的交互. 全分布模式操作是指

本文将介绍如何使用虚拟机一步步从安装Ubuntu到搭建Hadoop伪分布式集群. 本文主要参考:在VMware下安装Ubuntu并部署Hadoop1.2.1分布式环境 - CSDN博客 一.所需的环境和软件:(以下是我们的环境,仅供参考) 1. 操作系统:Windows 10 64位 2. 内存:4G以上(4G 可以搭建,不过虚拟机的运行可能会比较慢,这种情况可以考虑双系统) 3. VMware Workstation 12:VMware-workstation-full-12.5.7-5813

一.基础环境准备 1.Eclipse 下载地址:http://pan.baidu.com/s/1slArxAP 2.JDK1.8  下载地址:http://pan.baidu.com/s/1i5iNyTZ 二.win10下hadoop开发环境搭建 1.下载hadoop插件:hadoop-eclipse-plugin-2.7.3.jar,插件放在eclipse\dropins目录下. hadoop-eclipse-plugin-2.7.3.jar 百度云盘下载地址: http://pan.baid

官方的中文版的Hadoop快速入门教程已经是很老的版本了,新版的Hadoop目录结构发生了变化,因此一些配置文件的位置也略微调整了,例如新版的hadoop中找不到快速入门中提到的conf目录,另外,网上有很多教程也是关于老版本的.本教程主要是针对Hadoop 2.X版本,在Ubuntu系统上的搭建过程.如果要对各个步骤进行深入理解,还需要参考其他资料. 英文版快速入门:http://hadoop.apache.org/docs/r2.6.2/hadoop-project-dist/hadoop-

virtualbox搭建ubuntu server nginx+mysql+tomcat web服务器1 (未完待续) 第一次接触到 linux,不知道linux的确很强大,然后用virtualbox装了服务器,在命令行的东西实在是太多了,感觉还是记录在自己的博客里面感觉踏实点,同时也为广大的朋友提供意见和参考.感觉搭建整个服务器真的很难,首先要安装ubuntu,64位.这个比较简单,首先你要有个ubuntu的Ubuntu12.04.1 的ISO.http://download.chinauni

Ubuntu server下搭建Maven私服Nexus Maven私服Nexus的作用,主要是为了节省资源,在内部作为maven开发资源共享服务器来使用. 1.下载 通过root用户进去Ubuntu server $ cd /opt $ wget http://download.sonatype.com/nexus/oss/nexus-2.10.0-02-bundle.tar.gz 2.启动 环境准备,启动nexus,必须先完成JDK环境的配置. $ cd /opt/ $ tar -zxvf