最近工作需要，要看HDInsight部分，这里要做笔记。自然是官网资料最权威，所以内容都从这里搬过来：https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-introduction/

Hadoop on HDInsight

搞大数据，都知道Hadoop，那么HDInsight和Hadoop啥关系呢？HDInsight是M$基于Azure的一个软件架构，主要做大数据分析、管理用的，它使用了HDP（Hortonworks Data Platform）的Hadoop发行版。然后有点要注意，我们讲的Hadoop 一般指的是Hadoop的生态系统，包括Storm／Hbase等，而不单单是那个小大象。

HDInsight可以理解为是Apache Hadoop在微软Azure上的一个实现，里面包含了对应的Storm, HBase, Pig, Hive, Sqoop, Oozie, Ambari等等，当然，也捆绑了自家的Excel，SSAS，SSRS。

HDInsight支持两种类型操作系统，Linux和M$自己的Windows，区别主要在这里：

CATEGORY HADOOP ON LINUX HADOOP ON WINDOWS
Cluster OS Ubuntu 12.04 Long Term Support (LTS) Windows Server 2012 R2
Cluster Type Hadoop Hadoop, HBase, Storm
Deployment Azure Management Portal, Azure CLI, Azure PowerShell Azure Management Portal, Azure CLI, Azure PowerShell, HDInsight .NET SDK
Cluster UI Ambari Cluster Dashboard
Remote Access Secure Shell (SSH) Remote Desktop Protocol (RDP)

一些基本概念及定义

  • Hadoop (the "Query" workload): Provides reliable data storage with HDFS, and a simple MapReduce programming model to process and analyze data in parallel.

  • HBase (the "NoSQL" workload): A NoSQL database built on Hadoop that provides random access and strong consistency for large amounts of unstructured and semi-structured data - potentially billions of rows times millions of columns. See Overview of HBase on HDInsight.

  • Apache Storm (the "Stream" workload): A distributed, real-time computation system for processing large streams of data fast. Storm is offered as a managed cluster in HDInsight. See Analyze real-time sensor data using Storm and Hadoop.

  • Ambari: Cluster provisioning, management, and monitoring.

  • Avro (Microsoft .NET Library for Avro): Data serialization for the Microsoft .NET environment.

  • Hive & HCatalog: Structured Query Language (SQL)-like querying, and a table and storage management layer.

  • Mahout: Machine learning.

  • MapReduce and YARN: Distributed processing and resource management.

  • Oozie: Workflow management.

  • Phoenix: Relational database layer over HBase.

  • Pig: Simpler scripting for MapReduce transformations.

  • Sqoop: Data import and export.

  • Tez: Allows data-intensive processes to run efficiently at scale.

  • ZooKeeper: Coordination of processes in distributed systems.

HBase

这货有两个版本，一个是Apache HBase，开源、NoSQL、基于Hadoop和狗狗的BigTable，对于海量的结构化及半结构化数据访问有很好的支撑。另一个是HDInsight HBase，微软自己的。数据直接存放于Blob中。

HBase数据，可以通过hbase shell的create/get/put/scan命令来管理，scan是读多个行的数据。同时有一个REST方式的C# API可以供调用。

HBase的使用场景

初衷就是google为了自己的web search，你搜索三体的时候，它把所有包含三体的页面都返回给你。除此之外，还包含了：

  • Key－Value存储，这个适合于消息的管理，比如Facebook。
  • Sensor data，包含但不限于社交数据，时间相关数据，审计日志等。
  • real-time query，比如Phoenix是一个Apache Hbase的SQL查询引擎

Storm

官网介绍，它分布式的、容错的、开源的一个计算系统，可以实时处理Hadoop的数据。

HDInsight中的Storm，有如下特性：

  • SLA承诺是999
  • Storm组件可以用Java/C#/Python来搞
  • 内置的scale－up和scale－down的机制
  • 可以和EventHub/Virtual Network/SQL/Blob/DocumntDB集成

实时处理的场景

  • Internet of Things (IoT)
  • Fraud detection
  • Social analytics
  • Extract, Transform, Load (ETL)
  • Network monitoring
  • Search
  • Mobile engagement

Spark

Apache Spark，一个开源的，支持in-memory大数据分析的并行处理框架。

适用场景：

  • 交互式的数据分析与BI处理
  • 迭代机器学习（这是个啥？）
  • 流式及实时数据处理

最新文章

  1. SQL汉字转拼音函数-支持首字母、全拼
  2. Redis 数据库入门指南
  3. ZeroMQ接口函数之 ：zmq_pgm – ØMQ 使用PGM 进行可靠的多路传输
  4. Android中如何像 360 一样优雅的杀死后台Service而不启动
  5. javascript图片库
  6. 创建XML
  7. Animation用法
  8. linux 内核（驱动）常用函数
  9. mvc中@RenderSection()研究
  10. VBA Excel 常用 自定义函数
  11. java连接数据库时出现如下错误:
  12. Delphi 颜色转换
  13. 用UBOOT自带loadb命令加载应用程序到SDRAM中运行的方法
  14. VS删除未使用的命名空间
  15. sql server中关于批处理与脚本的简单介绍
  16. PHP 安装使用 gearman
  17. MINIDVD
  18. JAVA发送邮件的DEMO
  19. java 中类的方法
  20. ASP.NET -- WebForm -- 给图片添加水印标记

热门文章

  1. SQL Server调优系列基础篇（联合运算符总结）
  2. activiti入门
  3. mvn archetype:create报错解决办法
  4. linux添加开机自启动脚本示例详解
  5. chrome内核浏览器input边框
  6. java设计模式之抽象工厂模式
  7. 贪心法 codevs 1052 地鼠游戏
  8. NOIP2000乘积最大[序列DP]
  9. AC日记——加密的病历单 openjudge 1.7 12
  10. JVM再了解了解