用mapreduce做数据清洗的时候,需要对数据进行解密,加密方法是:AES/CBC/PKCS7Padding,由于java本身不支持,需要添加依赖,用的依赖是:

 <dependency>
<groupId>org.bouncycastle</groupId>
<artifactId>bcprov-jdk15on</artifactId>
<version>1.56</version>
</dependency>

加密解密用的工具类,附上代码:

 package com.js.utils;

 import org.bouncycastle.jce.provider.BouncyCastleProvider;

 import javax.crypto.Cipher;
import javax.crypto.spec.IvParameterSpec;
import javax.crypto.spec.SecretKeySpec;
import java.security.Key;
import java.security.Security;
import java.util.Arrays; public class AESCBCUtil {
// 算法名称
final String KEY_ALGORITHM = "AES";
// 加解密算法/模式/填充方式
final String algorithmStr = "AES/CBC/PKCS7Padding";
//
private Key key;
private Cipher cipher;
boolean isInited = false; byte[] iv = { 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00 };
public void init(byte[] keyBytes) { // 如果密钥不足16位,那么就补足. 这个if 中的内容很重要
int base = 16;
if (keyBytes.length % base != 0) {
int groups = keyBytes.length / base + (keyBytes.length % base != 0 ? 1 : 0);
byte[] temp = new byte[groups * base];
Arrays.fill(temp, (byte) 0);
System.arraycopy(keyBytes, 0, temp, 0, keyBytes.length);
keyBytes = temp;
}
// 初始化
Security.addProvider(new BouncyCastleProvider());
// 转化成JAVA的密钥格式
key = new SecretKeySpec(keyBytes, KEY_ALGORITHM);
try {
// 初始化cipher
cipher = Cipher.getInstance(algorithmStr, "BC");
}catch (Exception e){
e.printStackTrace();
}
}
/**
* 加密方法
* @param content 要加密的字符串
* @param keyBytes 加密密钥
* @return
*/
public byte[] encrypt(byte[] content, byte[] keyBytes) {
byte[] encryptedText = null;
init(keyBytes);
try {
cipher.init(Cipher.ENCRYPT_MODE, key, new IvParameterSpec(iv));
encryptedText = cipher.doFinal(content);
} catch (Exception e) {
e.printStackTrace();
}
return encryptedText;
}
/**
* 解密方法
* @param encryptedData 要解密的字符串
* @param keyBytes 解密密钥
* @return
*/
public byte[] decrypt(byte[] encryptedData, byte[] keyBytes) {
byte[] encryptedText = null;
init(keyBytes);
try {
cipher.init(Cipher.DECRYPT_MODE, key, new IvParameterSpec(iv));
encryptedText = cipher.doFinal(encryptedData);
} catch (Exception e) {
e.printStackTrace();
}
return encryptedText;
}
}

windows开发mapreduce程序的时候,测试没问题,但是上linux集群就会报错:


愁死人了,从来没有遇到过这种问题,没办法,看博客! 
其实,这是由于linux版本java与windows有一些区别导致的,解决方法如下: 
1、在mvn仓库中找到下载的包bcprov-jdk15on-1.56.jar,或者如果你不用maven,只要能下载到这个包,放到linux的$JAVA_HOME/jre\lib\ext下面; 
2、配置我的安全属性文件:vim /usr/java/jdk1.8.0_112/jre/lib/security/java.security

 security.provider.1=sun.security.provider.Sun
security.provider.2=sun.security.rsa.SunRsaSign
security.provider.3=sun.security.ec.SunEC
security.provider.4=com.sun.net.ssl.internal.ssl.Provider
security.provider.5=com.sun.crypto.provider.SunJCE
security.provider.6=sun.security.jgss.SunProvider
security.provider.7=com.sun.security.sasl.Provider
security.provider.8=org.jcp.xml.dsig.internal.dom.XMLDSigRI
security.provider.9=sun.security.smartcardio.SunPCSC
security.provider.10=org.bouncycastle.jce.provider.BouncyCastleProvider

第10行是我添加的,是由自己文件内容编号来确定的;

由于是分布式集群,每个节点都要环境一样哦!

完成这些配置后,重新执行这个任务,成功!

最新文章

  1. java.sql.SQLSyntaxErrorException: ORA-00936: 缺失表达式。
  2. Java 线程池的使用
  3. R语言学习笔记
  4. PHP正则表达式的快速学习方法
  5. ZOJ1260/POJ1364国王(King)
  6. linux bugfree 安装
  7. Windows 8.1 RTM初体验
  8. 一起来学Spring Cloud | 第二章:服务注册和发现组件 (Eureka)
  9. mongodb副本集实现
  10. Linux 常用命令介绍
  11. ASPOSE.Word 开发资料整理
  12. 用openssl为EAP-TLS生成证书(CA证书,服务器证书,用户证书)
  13. python使用MySQLdb实现连接数据库Mysql
  14. asp.net webform/mvc导出Excel通用代码
  15. npoi设置数据有效性
  16. 【坐标离散化】AOJ0531- Paint Color
  17. Dlib——C++机器学习库,有传统机器学习的,也有深度学习的
  18. hdu1575 Tr A 矩阵快速幂模板题
  19. ES6 对象扩展
  20. python_初步

热门文章

  1. 安装php调试工具 Xdebug的步骤 火狐 phpstorm联调
  2. jquery全国省市区三级联动插件distpicker
  3. react项目的react-router-dom路由的使用
  4. Head First Servlets &amp; JSP 学习笔记 第七章 —— 作为JSP
  5. tiny4412 --uboot移植(2) 点灯
  6. 多进程和mongo的配合使用
  7. margin和padding的用法与区别--以及bug处理方式
  8. 学习Acegi应用到实际项目中(5)
  9. 2019.02.17 spoj Query on a tree VII(链分治)
  10. 包含复杂函数的excel 并下载