我现在在一家公司负责大数据平台(CDH平台)的运维管理,最常遇见的问题我总结出来,并且继续在下面更新.希望方便自己以后trouble shooting以及方便各位同行解决问题与学习. 关于做运维有几个重要的要点一定一定要遵守的: 遇到问题冷静,冷静,冷静,就山崩都要冷静,心态关乎你是否能将问题解决同时不会给人留下不好的印象. 凡是关于对集群更改与变动的操作,一定要在测试环境测试到没问题才上生产,不然可能会造成不可挽回的损失. 尽可能的定期做备份,它可能在最绝望的时刻救命,这是最后的救命草. HU

Exception in thread "main" java.lang.NoClassDefFoundError: org/json/JSONObject hadoop@hadoop-virtual-machine:~/app/sqoop-1.4.6-cdh5.7.0$ bin/sqoop export --connect jdbc:mysql://localhost:3306/dbtaobao --username root --password 110110110 --table

MySQL 表与字段编码格式报错 一.数据库,表,字段编码格式都为latin1(iso-8859-1) .当数据保存到数据库后,中文显示乱码. 解决办法: 1.在访问数据库连接串中添加编码格式: <add key="MySqlConnectionString" value="Server=127.0.0.1;Port=3306;Uid=ttt;Pwd=ttt;Database=test_db;innercharacterset=gb2312;charset=gb2312

mysql中大数据表alter增加字段报错:"1034 Incorrect key file for table 'table_name'; try to repair it" 现象描述: mysql中大数据表执行alter增加字段时,/tmp的目录爆满,并且报错"1034 Incorrect key file for table 'table_name'; try to repair it". 故障分析: 1.查询MySQL官网得知: *“ALTER TABLE运

由于 这次 项目 做了 数据库 迁移(从 mysql 转到oracle  用的是navicat) 的工具  所以导致很多主键都丢失了 导致数据库很多 数据的id重复  导致系统修改一条数据的时候 出现很多值相同  郁闷了大半天 然后 打算在plsql中 给现有的某张表  追加主键 教科书形式 如下 /* 1.创建表的同时创建主键约束 (1)无命名 create table student (  studentid int primary key not null,  studentname va

数据库表A: CREATE TABLE task_desc_tab ( id INT(11) PRIMARY KEY NOT NULL COMMENT '自增主键' AUTO_INCREMENT, taskname VARCHAR(200) NOT NULL COMMENT '任务名字', sqlname VARCHAR(20) NOT NULL COMMENT 'sql文件名字', params VARCHAR(5000) NOT NULL COMMENT '任务参数,格式为一个JSON字符串

1. 现象:在任意位置输入 hive,准备启动 hive 时,报错: Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/mapred/MRVersion 2. 原因:全局变量中未 添加 hive 的路径 3. 解决: vi /etc/profile 添加: export HIVE_HOME=/export/servers/apache-hive-2.1.1-bin   (/expor

错误详情: FAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 错误原因:Hive的数据库Mysql在安装的时候没有初始化 解决办法:初始化数据库 cd /hive/bin ./schematool -dbType mysql -initSchema 这样显示即为初始化成功. 然后再

查询语句: select 分数 from cfull join don c.姓名=d.姓名 报错: [Err] 1054 - Unknown column 'c.姓名' in 'on clause' 经测试: full join  报错, join,没问题, left join  没问题, right join 没问题

hive创建带有中文注释的表报错: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:javax.jdo.JDODataStoreException: Transaction failed to commit at org.datanucleus.api.jdo.NucleusJDOHelper.getJDOExceptionForNu

elementUI表单嵌套日期时间选择时间后报错 <el-form-item label="起始结束时间:" required prop="startime"> <el-date-picker size="small" v-model="form.startime" type="datetimerange" range-separator="至" start-place

在Yii框架中,为了防止csrf攻击,封装了CSRF令牌验证,使用Yii表单生成页面的时候,如果表单的提交方式为POST,是都会在页面中添加一个隐藏字段: <div style="display:none">     <input type="hidden" value="a429b6c0f4468db23a5661d1682db537fe2672c7" name="YII_CSRF_TOKEN" />

解决方案配置如下 <!-- 配置文件上传解析器 --> <bean id="multipartResolver" class="org.springframework.web.multipart.commons.CommonsMultipartResolver"> <!-- 指定所上传文件的总大小不能超过20M.注意maxUploadSize属性的限制不是针对单个文件,而是所有文件的容量之和 --> <property na

“连接跟踪表已满,开始丢包”!相信不少用iptables的同学都会见过这个错误信息吧,这个问题曾经也困扰过我好长一段时间.此问题的解决办法有四种(nf_conntrack 在CentOS 5 / kernel <= 2.6.19中名为 ip_conntrack ): 一.关闭防火墙. 简单粗暴,直接有效 chkconfig iptables off  chkconfig ip6tables off  service iptables stop  service ip6tables stop   

TypeError: Cannot read property 'validate' of undefined at VueComponent.submitForm (plat_users.html:385) at Proxy.boundFn (vue.js:130) at click (eval at makeFunction (vue.js:8480), <anonymous>:2:5611) at VueComponent.invoker (vue.js:1948) at VueComp

步骤一.查找出来的语句全部复制并执行 select 'analyze table '||table_name||' compute statistics;' from user_tables; 步骤二.查找出来的语句全部复制并执行 select 'alter table '||table_name||' allocate extent;' from user_tables where num_rows=0

废话不多说,报错如下: DataNucleus.Datastore (Log4JLogger.java:error(115)) - An exception was thrown while adding/validating class(es) : Specified key was too long; max key length is 767 bytescom.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Specified

Django报错:提交表单报错---RuntimeError: You called this URL via POST, but the URL doesn’t end in a slash and you have APPEND_SLASH set. django提交表单的时候报错 RuntimeError: You called this URL via POST, but the URL doesn’t end in a slash and you have APPEND_SLASH s

由于项目需要,我在搭建了新的开发环境后,需要将之前环境中的ORACLE数据库导出,再导入到新的开发环境下.当导出导入完成后,使用数据库进行添加操作时 发现针对很多表的添加操作报错,具体报错原因描述为:插入的值超出了字段长度.根据分析,导致整个报错提示的原因为之前的数据库字符集格式为:ZHS16GBK 而新建的数据库实例编码格式为UTF-8,这就导致中文在UTF-8下占三个字节,而在ZHS16GBK下占两个字节,所以如果你一个字段的长度设置刚好能报错一个中文字, 则在UTF-8字符集环境下的数据库

导入oracle 时发现有几张表导入时一直报错: 报错信息:IMP-00003: ORACLE error 959 encountered   ORA-00959: tablespace 'HB' does not exist 原因:要导入库中如果有表字段类型为CLOB,且要导入的表空间名和原表空间名不一样就会报如下的错. 解决方法一: 1.      事先在target端建好CLOB字段所需的原名表空间 2.      事先在target端建好DEPT表结构,并在impdp导入时使用参数CON

最近事情比较多,本篇文章算是把遇到的问题杂糅到一起了. 背景:笔者最近在写一个mongo查询小程序,由于建立索引时字段名用大写,而查询的时候用小写. 代码如下: db.getCollection("xxx.aa").find({second_email:"/^mylove_foryou@qq.com/"}) 1200万的数据,第一次执行耗时:43.741秒,这在正式环境肯定是不允许的. 通过查询执行计划,发现并没有使用时索引,导致查询的时候很慢. 笔者在mongo3