spark streaming限制吞吐
2024-10-15 02:54:39
使用spark.streaming.receiver.maxRate这个属性限制每秒的最大吞吐。官方文档如下：
Maximum rate (number of records per second) at which each receiver will receive data. Effectively, each stream will consume at most this number of records per second. Setting this configuration to 0 or a negative number will put no limit on the rate. See the deployment guide in the Spark Streaming programing guide for mode details.
默认没有设置，也就是做没做限制。
如果做限制100，那么每秒最大吞吐就是100条。
然后文档中还有一个属性spark.streaming.kafka.maxRatePerPartition，也是限制吞吐的，不过是限制kafka读取的速度，官方文档是这么说的：
Maximum rate (number of records per second) at which data will be read from each Kafka partition when using the new Kafka direct stream API. See the Kafka Integration guide for more details.
默认也是没有设置。
现在还搞不清楚这两个的关联。 这个需要去研究源代码。 猜想spark.streaming.receiver.maxRate是限制除kafka以外的吞吐，而spark.streaming.kafka.macRatePerPartition的吞吐。
最新文章
- tomcat添加https
- HTTP-崔希凡笔记
- Javascript动态调整文章的行距、字体、颜色，及打印页面和关闭窗口功能
- Find命令搜索过去一段时间内修改过的文件
- NULL, '\0',0 '0'的区别
- mybati的存储过程
- [转]MVC模式已死？何不试试MOVE
- Windows Phone 8.1 发送http 网络请求。
- CSS传统布局之布局模型
- 深入分析Android动画（二）
- Mysql基本操作命令【转载】
- php中安装memcache
- 计算文章作品发布时间的php代码
- BZOJ4520 CQOI2016K远点对（KD-Tree+堆）
- HTML5 css3 阴影效果
- How to disable a plugin when Jenkins is down?
- servlet类第二篇
- Python使用paramiko库远程安全连接SSH
- Asp.Net Core 依赖注入默认DI，Autofac注入
- Python爬虫教程-17-ajax爬取实例（豆瓣电影）