streamsets 官方默认镜像中文支持问题
2024-08-27 22:26:22
以前在测试streamsets 的时候就发现中文乱码,后边也每太注意,以为支持问题,今天跑了下单元
测试代码,以及使用本机运行,发现都没有问题,然后运行以前的配置,使用jjs 发现模式的编码为
ANSI_X3.4-1968
原有环境准备
version: "3"
services:
sets:
image: streamsets/datacollector
volumes:
- "./ms/data:/data"
- "./ms/logs:/logs"
- "./ms/tmp:/tmp"
ports:
- "8000:8000"
- "18630:18630"
redis:
image: redis
ports:
- "6379:6379"
mongodb:
image: mongo
ports:
- "27017:27017"
使用jjs 查看方式
- 进入容器
docker-compose exec sets sh
- 使用jjs 命令查看默认额编码
var s = Java.type("java.lang.System")
print(s.getProperty("file.encoding"))
print(s.getProperty("sun.jnu.encoding"))
结果为上边说的ANSI_X3.4-1968
结果方法
修改默认编码为utf-8
- dockerfile
FROM streamsets/datacollector:3.12.0-latest
ENV SDC_JAVA_OPTS="-Dfile.encoding=UTF-8 -Dsun.jnu.encoding=utf-8"
ENV SDC_JAVA8_OPTS="-Dfile.encoding=UTF-8 -Dsun.jnu.encoding=utf-8"
- docker-compose 文件
version: "3"
services:
sets:
build: ./
volumes:
- "./ms/data:/data"
- "./ms/logs:/logs"
- "./ms/tmp:/tmp"
ports:
- "8000:8000"
- "18630:18630"
redis:
image: redis
ports:
- "6379:6379"
mongodb:
image: mongo:3.0
ports:
- "27017:27017"
- 安装mongodb 包
- 创建一个简单的微服务pipeline
- 配置
expression 处理
mongodb
测试效果
启动pipeline很简单, 点击start 即可
- 模拟http 数据
curl -i -X POST http://localhost:8000/rest/v1/user --header "X-SDC-APPLICATION-ID:microservice" -d '{"ID":1, "NAME": "Sample Name 荣", "AGE":34, "ADDRESS": "2333 San Francisco"}'
- mongodb 数据存储
说明
以上处理的方法比较简单,主要是记录下一个处理的问题的思路以及解决方法
参考资料
https://streamsets.com/documentation/datacollector/latest/help/datacollector/UserGuide/Configuration/DCEnvironmentConfig.html#concept_rng_qym_qr
https://github.com/streamsets/datacollector-docker
最新文章
- GnuStep使用
- html学习第一天笔记——第七章节
- Android 常用控件的介绍
- Java基础知识系列——文件操作
- C++中string转化为常用数值类型
- selenium python 环境搭建(64位 windows)
- Firefly框架参考
- 异步调用backgroudworker
- 杭电OJ——1011 Starship Troopers(dfs + 树形dp)
- iOS 最新App提交上架流程及部分问题的解决方案2016.12.21,感谢原博主!!!
- mysql 赋给用户权限 grant all privileges on
- LeetCode 84. Largest Rectangle in Histogram 直方图里的最大长方形
- SQL SERVER 2008 下载地址&;安装方法
- linux iscsi配置
- Data access between different DBMS and other txt/csv data source by DB Query Analyzer
- python识别图片文字
- 试试看读一下Zepto源码
- Intellij Idea乱码解决方案
- VMware-workstation12.5.6 新建虚拟机 安装 centos6.5
- 自学Linux Shell11.2-echo命令
热门文章
- xml、bean、json互转工具,可直接CV就用
- 第04组 Alpha冲刺(6/6)
- LeetCode 209:最小长度的子数组 Minimum Size Subarray Sum
- [ThinkPHP]报错:Fatal error: Namespace declaration statement has to be the very first statement or after any declare call in the script in E:\wamp\www\jdlh\application\index\controller\Index.php on line
- [DP]Luogu 2014NOIP提高组 飞扬的小鸟题解
- virtualbox的安装与使用、安装镜像创建虚拟机
- jdk8 HashMap tableSizeFor
- java基本程序设计结构总结
- JAVA性能监控与调优参考文档链接
- java SSM 框架 微信自定义菜单 快递接口 SpringMVC mybatis redis shiro ehcache websocket