big data env setup
2024-09-05 18:08:27
install Hadoop
CentOS:
https://www.vultr.com/docs/how-to-install-hadoop-in-stand-alone-mode-on-centos-7
https://www.linode.com/docs/databases/hadoop/how-to-install-and-set-up-hadoop-cluster/
http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/
check nodes status
$HADOOP_HOME/bin/hadoop dfsadmin -report https://ambari.apache.org/1.2.3/installing-hadoop-using-ambari/content/reference_chap2_1.html
Also can access name node web page with port 50070
install Spark
on CentOS:
https://aodba.com/how-to-install-apache-spark-in-centos-standalone/
https://bigdata-etl.com/how-to-install-apache-spark-standalone-in-centos/
https://www.tutorialspoint.com/apache_spark/apache_spark_installation.htm
https://gist.github.com/darcyliu/d47edccb923b0f03280a4cf8b66227c1
on Ubuntu:
install JAVA
install Scala
install Spark
最新文章
- Win7---------专区
- javascript平时小例子⑨(小型抽奖功能)
- 在PHP中如何实现在做了么个操作后返回到指定页面
- WEKA使用（基础配置+垃圾邮件过滤+聚类分析+关联挖掘）
- 话说好像是这样，ios下面通常用iframe来打开你的scheme地址； Android下通常用location.href来。。。 不过实际情况好像比这个复杂得多。。
- java读取excel
- 原生JavaScript 全特效微博发布面板效果实现
- BOM和DOM的区别和关联
- Linux文件权限管理（持续更新）
- php 即使客户端或者服务器断开(如关掉浏览器)脚本也可以继续执行
- 【转】Python处理HTML转义字符
- mysql中utf8_bin、utf8_general_ci、utf8_general_cs编码区别
- zoj3710 friends（floyd变形）
- php匹配图片、视频文件、音乐文件的正则表达式
- global与nonlocal关键字
- dataGridView笔记
- python 中的 yield 究竟为何物？生成器和迭代器的区别？
- BZOJ 5249: [2018多省省队联测]IIIDX(贪心 + 线段树)
- python+selenium九：ddt数据驱动
- PwniumCTF2014 - JJSN总结