Ambari集成Kerberos报错汇总 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.查看报错的配置信息步骤 1>.点击Test Kerberos Client,查看相应日志信息 2>.查看具体是哪台机器出现问题 3>.查看node101.yinzhengjie.org.cn的报错日志 4>.查看对应的报错信息 二.Error occured during stack advisor command invocation: Cannot create /v

Hadoop生态圈-开启Ambari的Kerberos安全选项 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 在完成IPA-Server服务的安装之后,我们已经了解了他提供的基础功能和服务,领略了其Web控制台和CLI接口的便利性,但是这写特性好像并没有提示平台的安全性啊.别着急,因为IPA-Server只是提供了诸如LDAP和Kerberos等重要的基础设施,只有将IPA于Ambari进行集成才能完全显示处它的神威.关于部署IPA-Server的部署可参考我之前的笔记:“使

Kerberos 介绍 Kerberos 是一个网络认证的框架协议,其设计的初衷便是通过密钥系统为 Client 和 Server 应用程序之间提供强大的认证服务.在使用 Kerberos 认证的集群中,Client 不会直接和 Server 进行认证,而是通过 KDC(Key Distribution Center)来完成互相的认证.首先,我们需要简单的介绍下跟 Kerberos 相关的术语,如表 1 所示. 表 1.Kerberos 相关的术语 术语 简述 KDC(Key Distribut

----------------------目录导航见左上角------------------------------- 环境 HDP 3.0.1.0 (已有) JDK   1.8.0_91 (已有) Mysql  5.7.25 (已有) Kerberos       1.10.3-30 (后续文档中有介绍如何安装) LDAP       knox自带的通用LDAP (已有) Ranger    1.1.0 (已有) 目的 集成HDP kerberos /LDAP/ranger之前必须先了解为

1.KDC创建principal 1.1.创建认证用户 登陆到kdc服务器,使用root或者可以使用root权限的普通用户操作: # kadmin.local -q “addprinc -randkey hbase/yjt” # kadmin.local -q “addprinc -randkey zookeeper/yjt” # kadmin.local -q “addprinc -randkey zkcli/yjt” 其中hbase集群有几台,上面的第一台命令就需要执行几次,每次执行的时候请

出现警告的过程是: 1.搭建ambari集群成功后,添加了hdfs和zk组件,然后启用了kerberos: 2.kerberos启用完毕后添加hbase和yarn.MapReduce.hive都没有出现警告 3.添加kafka之后,在ambari的kerberos处更新了票据,这时候发现hive和yarn出现了警告,前台是403错误,通过查看后台日志发现,报了这样一个警告: Failure unspecified at GSS-API level (Mechanism level: Checks

集成hive+kerberos前,hadoop已经支持kerberos,所以基础安装略去: https://www.cnblogs.com/garfieldcgf/p/10077331.html 直接用之前hadoop集成生成的keytab文件开始配置: hive的 conf/hive-site.xml,添加如下: <property> <name>hive.server2.authentication</name> <value>KERBEROS</

1.票据的生成 kdc服务器操作,生成用于hive身份验证的principal 1.1.创建principal # kadmin.local -q “addprinc -randkey hive/yjt” 1.2.创建秘钥文件 # kadmin.local -q “xst  -norankey  -k  /etc/hive.keytab hive/yjt” 拷贝秘钥文件到集群,root操作或者有root权限的普通用户操作 # scp /etc/hive.keytab 192.168.0.230:

1.查看hdp版本,可在ambari-agent节点上查看 VERSION=`hdp-select status hadoop-client | sed 's/hadoop-client - \([0-9]\.[0-9]\).*/\1/'` 2.server节点上git克隆代码,其中下方$VERSION指的是上方的版本号 sudo git clone https://github.com/cas-bigdatalab/ambari-impala-service.git /var/lib/amba

Kerberos概念 1.Kerberos用户 Kerberos的本质是维护一套自己的用户:或者说是核心用户映射,比如你的系统用户里面有hdfs,那么我将会在KDC中创建一套基于机器(假设我们有三台安装了CDH的机器分别为slave1,slave2,slave3)的核心用户,于是需要创建如下用户(对于Hadoop里面的用户,这个创建是由cloudera manager在开启Kerberos的时候自动来做的,否则需要手动在KDC中创建) hdfs/slave1@BD.COM hdfs/slave2

1.kdc创建principal 1.1.创建认证用户 登陆到kdc服务器,使用root或者可以使用root权限的普通用户操作: # kadmin.local -q “addprinc -randkey hdfs/yjt” # kadmin.local -q “addprinc -randkey yarn/yjt” # kadmin.local -q “addprinc -randkey mapred/yjt” # kadmin.local -q “addprinc -randkey HTTP/

由字符集引起的hive 元数据进程启动失败 解决方法新增 这2句话 reload(sys)sys.setdefaultencoding('utf8')

1.生产者1.1.准备jaas.conf并添加到环境变量(使用以下方式的其中一种)1.1.1.使用Kinit方式前提是手动kinit 配置内容为: KafkaClient { com.sun.security.auth.module.Krb5LoginModule required useTicketCache=true renewTicket=true serviceName="kafka"; }; 1.1.2.使用指定keytab和票据的方式 准备好你的keytab文件 配置内容为

ambari-server resetambari-admin-password-reset https://github.com/EsharEditor/ambari-hue-service可以基于HDP来访问HUE,暂时没有做尝试 我尝试了,使用hdp自带的hue rpm包来安装,直接yum install hue 即可剩下的就主要是配置cd /etc/hue/confvi hue.ini 配置有启动的端口和HADOOP相关的信息. 注意由于权限问题,需要在core-site.xml中自定义

1.创建主体 注: 192.168.0.230 为单节点集群 192.168.4.50为kdc服务器 192.168.0.9为客户端 1.1.Kdc服务器创建主体 # kadmin.local -q ‘addprinc -randkey presto’ #kadmin.local -q ‘addprinc -randkey presto/yjt’ 1.2.创建秘钥文件 # kadmin.local -q ‘xst -norandkey -k presto.keytab presto presto

解决方法: MyEclipse->Window->Preferences->MyEclipse->Servers->Tomcat->Tomcat 6.x->Laucch->Create Launch Configuration->Classpath->Bootstrap Entities->Add External JARs->选择并填加tomcat的安装路径,比如:D:\Java\tomcat\bin\tomcat-juli.jar

一定是所在的服务器也装了MongoDB导致端口冲突,解决方法:kill掉全部MongoDB的进程. ps aux | grep mongod PID 参考: http://blog.csdn.net/guoer9973/article/details/52103367 https://www.cnblogs.com/wjw-blog/p/5995237.html?utm_source=itdadao&utm_medium=referral https://github.com/jhipster/

1.生成票据 1.1.创建认证用户 登陆到kdc服务器,使用root或者可以使用root权限的普通用户操作: # kadmin.local -q “addprinc -randkey spark/yjt” 1.2.生成密钥文件 生成spark密钥文件 # kadmin.local -q “xst  -norankey  -k  /etc/spark.keytab spark/yjt” 拷贝sparkkeytab到所有的spark集群节点的conf目录下 1.3.修改权限 # chmod 404

1.pom.xml少packing元素 https://www.cnblogs.com/zeussbook/p/10790339.html 2.SpringBoot项目中增加了WebSocket功能无法运行测试 https://www.oschina.net/question/3009937_2231116

出现这个问题是springboot和springcloud的版本不匹配. 我此处使用了springboot 2.0.4.RELEASE,springcloud 使用了Finchley.SR2. 修改方法是将springboot 版本改为 2.1.1RELEASE.