什么是TimeTunnel
2024-10-10 07:52:57
欢迎使用TimeTunnel
什么是TimeTunnel
!TimeTunnel(简称TT)是一个基于thrift通讯框架搭建的实时数据传输平台,具有高性能、实时性、顺序性、高可靠性、高可用性、可扩展性等特点。
- 高性能
- 2k大小的消息,峰值每秒4w TPS的访问。淘宝3台服务器,每天处理2.3T(压缩后)数据,峰值每秒50MByte流入流量、130MByte流出流量
- 实时性
- 90%的消息5ms以内送达
- 顺序性
- 如果你开启了顺序传输功能,timetunnel保证消息的发布顺序和订阅顺序是一致的
- 高可靠性
- 存储方面,我们设计了内存->磁盘->hadoop dfs三级缓存机制,确保数据可靠。 系统方面,我们将服务器节点组织成环,在环里面每一个节点的后续节点是当前节点的备份节点,当某节点故障时,后续节点自动接管故障节点数据,以保证数据可靠性
- 高可用性
- 单个节点故障,不影响系统正常运行
- 可扩展性
- 可以对系统进行横向和纵向扩展,横向扩展可以向现有的服务环里面增加节点,纵向扩展可以增加服务环
谁使用TimeTunnel
目前TimeTunnel在淘宝广泛的应用于日志收集、数据监控、广告反馈、量子统计、数据库同步等领域。
编译安装
系统介绍
快速入门
相关应用
- TailFile:日志收集的客户端,实时读取文件增量,将内容转化为TimeTunnel消息发送到设定的Topic
- SaveFile:通用数据订阅客户端,订阅TimeTunnel消息,将消息以文件的形式写入本地磁盘,是连接TimeTunnel和现有应用的最好接口,和DfsWriter应用结合在一起,可以将数据实时写入hadoop
- DfsWriter:读取TimeTunnel消息格式的二进制文件或者文本文件,将文件同步到hadoop
其他参考
- attachment:淘宝开源timetunnel入门文档.pdf (感谢 string同学提供的文档!)
最新文章
- 推荐几款我一直在用的chrome插件(下)
- winform下如何实现右下角弹窗效果
- ssh 无密码登陆
- 通过gulp为requireJs引入的模块添加版本号
- SQL Server 2008 R2中,“选择前1000行”为“选择所有行”
- lintcode 中等题:N Queens N皇后问题
- oracle10~11g在centos5~6版本上安装整体总结如下
- 谷歌下设置滚动条的css样式
- 前台之boostrap
- Linux下安装Android的adb驱动-解决不能识别的问题
- BZOJ2442: [Usaco2011 Open]修剪草坪
- Android在发送带有附件的邮件
- 简单Elixir游戏服设计- 创建项目
- yarn 淘宝源安装与使用用法
- nginx隐藏版本号
- 前端基础之CSS-Day13
- 在 Mac OS X 10.10 安装 pyenv 的一个小坑
- 24G的SSD有什么用
- 数据如何输入输出_Spark
- Linux新系统的安全优化和内核参数优化
热门文章
- HDU 2451 Simple Addition Expression
- hdoj 1233 还是畅通工程(最小生成树)
- leetCode解题报告5道题(六)
- [小知识点]IE6下不支持:hover的解决方法
- MVC3 验证码
- 请求接口获取到的数据其中出现null值,处理的时候导致了程序crash,解决方案如下:
- [C#参考]字符编码
- 关于RMAN的配置信息存储和控制文件的关系
- python collections.Counter笔记
- selenium 怎么处理display:none