开篇心声:

  不管是学习新知识,还是遇到各种难题,总能在技术论坛找到经验帖子。一直享受大家提供的帮助,而自己没有任何输出,实在过意不去。我相信技术是经验的交流,思维的碰撞。

  这是我一次写技术分享文章,我想用系列文章介绍用Mongodb、Kettle、Metabase这三个开源软件在数据可视化实践中的一些关联问题,Mongodb脚本在不同软件中的应用注意事项。

先展示下我所用技术架构:

  数据源:Mongodb数据库集群、Excel,业务端用的数据源,数据抽取只能兼容。 

  ETL工具:Kettle,大多数ETL工具数据源对关系型数据库支持友好,而对NoSQL支持就有点差强人意。Kettle在BigData里集成了Mongodb组件,虽然用起来不如SQL数据连接,但还算稳定,支持Json格式的Mongodb脚本查询。

  数据仓库:Mongodb、PostgreSQL,数据源其实很灵活。数据体量达到PB及以上,建议直接用云数据仓库;数据量不大的,用自己熟悉的库就好。

  可视化:Echart、Metabase,Echart是百度开源的Javascript可视化插件,Metabase是国外的开源数据可视化软件。试过FineBI,其功能和图表比Metabase更丰富。不过,FIneBI免费版仅支持两个节点同时访问,自带数据源不支持Mongodb数据源。应用市场里有付费Mongodb连接插件,公司一看25000,而且需要经过FineReport转换,怕掉坑果断跳过。

  Kettle、Metabase运行需要JAVA环境。

  整体技术架构图1所示:

  

图 1

最新文章

  1. jsp中的form表单中的 id和name有什么区别了
  2. proxifier 3.29 key
  3. linux内核学习之六 进程创建过程学习
  4. MySql 的数据储存引擎
  5. Html5 学习系列(五)Canvas绘图API快速入门(2)
  6. OC三种方法实现定时器
  7. C++ 全排列函数 nyoj 366
  8. 部署点评Cat监控项目
  9. Status: Checked in and viewable by authorized users 出现在sharepoint 2013 home 页面
  10. windows下的python环境搭建(python2和python3不兼容,python2用的多)
  11. mybatis 整合spring之mapperLocations配置的问题(转)
  12. Android下基于SDL的位图渲染(一)
  13. [置顶] 深入探析Java线程锁机制
  14. mysql 聚合函数
  15. HDU 6184 Counting Stars
  16. Elastic-Job开发指南
  17. POJ 2396 Budget (有源汇有上下界最大流)
  18. GIT常用命令以及作用【备忘】
  19. Kubernetes-设计理念(三)
  20. Leetcode:1. Two Sum

热门文章

  1. 企业面试中关于MYSQL重点的28道面试题解答
  2. Java中synchronized关键字理解
  3. java.lang.illegalArgumentException异常
  4. Cortex-M3双堆栈MSP和PSP+函数栈帧
  5. 给select赋值的一种方法
  6. shiro入门学习--授权(Authorization)|筑基初期
  7. Java虚拟机诊断利器
  8. es使用--新建、删除、增删改数据
  9. arcgis-java-100.8.0.jar下载
  10. 多测师讲解_python_pycharm基本实用操作__保存代码_