topic相关问题
2024-09-07 19:50:48
1.下面是一个topic数据出现堵塞的情况示图。
如图所示,delta列表示当前分区未处理的数据条数,kafka current表示推送到topic的数据量,spout current表示已经处理的数据量。
这种情况有几种可能:数据有问题,配置文件有问题,代码有问题,显然这些都是废话,差不多也就这几总,这里只是说一下找错的的几个方向,如果你刷新页面发现慢慢的delta变小,spout current慢慢变大,
这可能是数据量过大,处理的慢,试着把配置文件内的work改大,work根据配置文件内的bolt数量和实际work的使用情况设置。
2.下面是一个strom任务出现的报错示图。
明确提示jvm内存溢出,内存不够用,应该是一次从数据库拉过来的数据量太大导致的。
修改对应的topology配置文件,调整两个参数,把他们变大。
<property>
<name>hbase.manualFlushLimit</name>
<value>1</value>
</property>
<property>
<name>hbase.writeBufferSize</name>
<value>1024</value>
</property>
最新文章
- SAP CRM 通过调试观察CL_CRM_BOL_ENTITY中的数据
- 【原创】自己动手写工具----XSmartNote [Beta 3.0]
- Java进击C#——语法之面向对象
- 80、Android Support v4、v7、v13的区别以及应用场景
- hibernate(四)ID生成策略
- [原]openstack-kilo--issue(七):虚拟机怎么通外网,外网怎么ping通虚拟机
- PAT1099
- Bzoj 1687: [Usaco2005 Open]Navigating the City 城市交通 广搜,深搜
- centos安装nodejs和mongodb
- Socket 学习(三).1 tcp 通讯
- SparkMLlib分类算法之支持向量机
- Axis1.4之即时发布服务
- 第1次作业:这是我的一个响亮的标题X!
- Hibernate(八):基于外键映射的1-1关联关系
- CC++语法::数组名退化(array decaying)
- 用Verilog语言实现一个简单的MII模块
- js中的所有鼠标事件 键盘事件
- logstash filter geoip 转换IP为详细地址等内容。
- Mycat - 高可用与负载均衡实现,满满的干货!
- JDK动态代理简单使用(2)
热门文章
- JAVA OOP 编程-常用设计模式
- ES数据库重建索引——Reindex(数据迁移)
- SpringSecurity匹配规则介绍
- (一)python 格式化 excel 格式
- 查看 __class__属性
- Python exec 内置语句
- Python List cmp()方法
- PHP date_sun_info() 函数
- AtCoder Beginner Contest 173 E Multiplication 4	分类讨论 贪心
- CF R 209 div 2 CF359B Permutation 构造