Spark:控制日志输出级别
2024-10-14 18:25:33
Spark:控制日志输出级别
终端修改
在pySpark终端可使用下面命令来改变日志级别
sc.setLogLevel("WARN") # 或者INFO等
修改日志设置文件
** 通过调整日志的级别来控制输出的信息量.减少Spark Shell使用过程中在终端显示的日志. **
- 切换当前路径到Spark安装路径
- 拷贝一份日志设置文件的模板文件
cp log4j.properties.template log4j.properties.template - 找到下面一行内容
log4j.rootCategory=INFO, console
改为如下
log4j.rootCategory=WARN, console
最新文章
- iOS compare 字符串比较
- XdbxAnalysis
- centos7 配置vnc
- iOS 7 Pushing the Limits Notes - create a layer like notification center's or control center's background
- curl fake ip
- 用原生JS写移动动画案例及实际应用
- 重写ViewPager实施单一交有关切换到这个问题，并没有缓存
- 不创建类将json数据转换
- Django—templates系统：模版语言
- logback生成多个不同的日志文件
- 【codeforces 698C】LRU
- 自己实现的typeOf函数1
- selenium启动报错“ incorrect JSON status mapping for 'unknown error' (500 expected)”
- Python内置函数(68)——__import__
- Flask block继承和include包含
- linux指定只显示(只打印)文件中的某几行(中间几行)
- PHP开发——环境安装
- 在桌面创建robotframework Ride的快捷方式启动RIDE
- WPF的5种绑定模式（mode）
- Invalid AABB inAABB UnityEngine.Canvas:SendWillRenderCanvases()的解决办法