Centos7安装moloch步骤

Moloch 是一个由AOL开源的,能够大规模的捕获IPv4数据包(PCAP)、索引和数据库系统,由以下三个部分组成:

  • capture :绑定interface运行的单线程C语言应用
  • viewer :  运行在capture主机上的node.js web应用
  • elasticsearch : moloch的数据检索驱动

         Capture (绑定 interface 运行的单线程 C 语言应用 )用来抓取流量并以 pcap 的格式存储到硬盘上面,还会存一份对应关系到 elasticsearch (moloch 的数据检索驱动)中,Viewer(运行在 capture 主机上的 node.js web应用 ) 提供 web 界面,以下为 Moloch 的单个主机部署架构图。

Moloch优势:

  • 1 moloch 公开了API ,允许 pcap 数据和 json 格式的会话数据直接下载和使用。
  • 2 提供直观的Web界面,用于 PCAP 浏览、搜索、分析,Moloch 以标准 PCAP 格式存储和导出所有数据包。
  • 3 可扩展性:Moloch 旨在部署在多个集群系统中,提供扩展可以处理多个千兆位/秒的流量。PCAP保留基于可用的传感器磁盘空间,而元数据保留基于 Elasticsearch 集群的规模。 两种保留大小都可以随时增加。
  • 4 安全: 通过使用具有摘要密码的 HTTPS 或使用提供 Web 服务器代理的身份验证来保护对 Moloch 的访问。 PCAP 都存储在已安装的 Moloch 传感器上,只能通过 Moloch 接口或API访问。 Moloch 支持在静止时加密 PCAP 文件。
  • 简而言之: Moloch 可以保存所有原始数据流量,基于 elasticsearch 及 PCAP 的存储形式使它得以对通信数据流中的元数据进行快速检索。相对来说是一个比较好用的回溯分析系统。

Moloch官网      Moloch git地址 git主页上REDE有较为详细的安装说明。。。 以下是我的安装记录:

1.  系统要求和环境搭建

  • 存储数据包对机器的性能要求moloch提供了评估页面 Moloch Estimators
  • 本次搭建条件16G  内存,300GB HDD,所有组件都安装在了同一台机器。如果有条件的话,请把Capture MachinesElasticsearch Machines组件分开来安装。
 

可根据 PCAP 包的存储天数、TLS (加密数据包保存的百分比)、每台机器的处理能力;ES 日志的存储天数、机器节点等选择适合自己的硬件资源。Moloch 的每个节点需要 64GB - 128GB 内存:ES 为 30GB,OS 磁盘缓存为 34-96GB。对于大型计算机,计划为每个主机运行多个节点。

2.  安装步骤

2.1 安装依赖包

yum install -y wget curl perl-JSON  perl-libwww-perl libyaml-devel

2.2 关闭并禁止重启后启动防火墙

systemctl stop firewalld.service    ===>关闭防火墙
systemctl disable firewalld.service ===>禁止重启后启动防火墙

2.3 下载及安装JDK

wget http://iso.epoint.com.cn/JDK/jdk-8u65-linux-x64.rpm
rpm -ivh jdk-8u65-linux-x64.rpm ##安装jdk

2.4 下载及安装elasticsearch

2.4.1 安装elasticsearch

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.6.6.rpm  ##下载elasticsearch
rpm -ivh elasticsearch-5.6.6.rpm ##安装elasticsearch

2.4.2 修改配置文件/etc/elasticsearch/elasticsearch.yml 中的network.host:服务器的IP

 

2.4.3 启动elasticsearch 服务

systemctl daemon-reload     ##重载修改过的配置文件
systemctl enable elasticsearch.service ##开机启动elasticsearch
systemctl start elasticsearch.service ##启动elasticsearch

2.4.4 监听服务端口是否已经启动  

netstat -nlp |grep LISTEN

 2.4.5 检查elasticsearch是否正常启动

在浏览器中测试,输入http://服务器IP:9200/_cat ,查看是否能正常看到类似如下页面即为正常。

 2.5 下载及安装Moloch

 2.5.1 https://molo.ch/#downloads官网下载rpm包

 2.5.2  安装moloch rpm包(采用U盘挂载方式)

rpm -ivh moloch-1.8.0-1.x86_64.rpm

2.5.3 配置初始化Moloch

/data/moloch/bin/Configure

2.5.4 初始化、升级 Elasticsearch Moloch配置

/data/moloch/db/db.pl  http://localhost:9200  init    ##第一次安装初始化、或者想删除所有数据
/data/moloch/db/db.pl http://localhost:9200 upgrade ##升级moloch 数据包

2.5.5 添加admin账户

/data/moloch/bin/moloch_add_user.sh admin "Admin User" moloch --admin  ##新增admin账户,密码是moloch

2.5.6 开启所有服务

systemctl enable molochcapture.service ##开机启动Capture
systemctl start molochcapture.service ##启动Capture
systemctl enable molochviewer.service ##开机启动Viewer
systemctl start molochviewer.service ##启动Viewer

 2.5.7 登陆Moloch  http://172.18.20.223:8005

...

最新文章

  1. 基于spring的aop实现读写分离与事务配置
  2. ajax请求总是进入Error里
  3. zend 快捷键
  4. POJ 1095 Trees Made to Order(卡特兰数列)
  5. 05-UIKit绘图演练
  6. Qt之模型/视图(自定义按钮)
  7. 使用Qt编写服务器端程序(包括Http传输服务器端)的方法
  8. HTML5学习笔记-video
  9. Document Classification
  10. JavaScript在应用中的技巧(一)
  11. 关于Mybatis的一次pingQuery时间间隔的实践及思考
  12. Ambari 常用的 REST API 介绍
  13. SELinux app权限配置
  14. intellij ideal 在erlang 开发环境遇到的一些小问题
  15. How to deploy kotlin in androidstudio?
  16. 在 CentOS 6.x 上安装最新版本的 git
  17. sqlserver 优化
  18. [Android]Eclipse 安装 ADT[Android Development Tooling] 失败的两种解决办法
  19. mysql-innodb的事务日志
  20. OpenCV学习(29) 凸包(convexhull)

热门文章

  1. 即时聊天APP(二) - MainActivity
  2. query 与 params 使用
  3. C++基础之string类
  4. 关闭vue的eslint代码检测和WebStorm的代码检测
  5. WordPress 文章目录插件 Easy Table of Contents 配置教程
  6. python的pywinrm模块远程连接windows执行dos命令
  7. Intellij IDEA 2019 + Java Spring MVC + Hibernate学习笔记(1)
  8. 对cpu与load的理解及线上问题处理思路解读
  9. AppBoxFuture: Raft快照及日志截断回收
  10. DeleteFile