facebookscribe的使用情况

开源数据采集组件比较: scribe、chukwa、kafka、flume

针对每天TB级的数据采集,一般而言,这些系统需要具有以下特征: 构建应用系统和分析系统的桥梁,并将它们之间的关联解耦: 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统: 具有高可扩展性.即:当数据量增加时,可以通过增加节点进行水平扩展. 从设计架构,负载均衡,可扩展性和容错性等方面对开源的个关组件进行说明 FaceBook的Scribe Scribe是facebook开源的日志收集系统,在facebook内部已经得到大量的应用.它能够从各种日志源上收集日志,存储到一个中央存储系统

有朋友问了数据库ID不连续，怎么获取上一篇和下一篇的文章？（不是所有情况都适用）

呃 (⊙o⊙)…,逆天好久没写SQL了,EF用的时间长了,SQL都不怎么熟悉了......[SQL水平比较菜,大牛勿喷] 方法很多种,说个最常见的处理因为id是自增长的,所以一般情况下下一篇文章的ID都是大于当前文章ID的(guid的主键不适合这种方法,不根据创建时间排序的不适合[博客园文章都是根据创建时间]) EF的写法:(参考) 有其他约束的可以往上加(比如文章不能被标记为删除等) var articleOne = ArticleService.PageLoad(a => a.Id <

MySQL主从环境下存储过程，函数，触发器，事件的复制情况

下面,主要是验证在MySQL主从复制环境下,存储过程,函数,触发器,事件的复制情况,这些确实会让人混淆. 首先,创建一张测试表 mysql),age int); Query OK, rows affected (0.10 sec) 存储过程创建存储过程 delimiter // ),IN age int) BEGIN insert into test.t1 values(name,age); END// delimiter ; 通过查看二进制日志,可以看到该DDL语句已被记录 # at # :

个人网站对xss跨站脚本攻击（重点是富文本编辑器情况）和sql注入攻击的防范

昨天本博客受到了xss跨站脚本注入攻击,3分钟攻陷--其实攻击者进攻的手法很简单,没啥技术含量.只能感叹自己之前竟然完全没防范. 这是数据库里留下的一些记录.最后那人弄了一个无限循环弹出框的脚本,估计这个脚本之后他再想输入也没法了. 类似这种: <html> <body onload='while(true){alert(1)}'> </body> </html> 我立刻认识到这事件严重性,它说明我的博客有严重安全问题.因为xss跨站脚本攻击可能导致用户Co

萌新笔记——linux下查看内存的使用情况

windows上有各种软件可以进行"一键加速"之类的操作,释放掉一些内存(虽然我暂时不知道是怎么办到的,有待后续学习).而任务管理器也可以很方便地查看各进程使用的内存情况,如下图: 同样地,linux下也有一些方法来查看内存的使用情况. 一.free 对于free命令,可以加上-m参数,使其显示单位为Mb.如下: [ccx@ubuntu ~]$>free total used free shared buffers cached Mem: -/+ buffers/cache: S

SQL Server 在缺少文件组的情况下如何还原数据库

SQL Server 在缺少文件组的情况下如何还原数据库一.背景我有一个A库,由于a,b两张表的数据量比较大,所以对表进行分区:在把A库迁移到一个新的集群上去,我只备份了A库的主分区过去进行还原为B库(主分区的备份还原可参考:SQL Server 维护计划备份主分区和主分区备份与还原),为了对a,b表进新的数据,我修改了a,b表名,在B库新建了两张不分区的a,b表: 这样运行都没有什么问题的,但是在一次我分离了数据库B,拷贝了mdf和ldf文件,现在想使用mdf和ldf还原为B库的时候出

如何在删除ibdata1和ib_logfile的情况下恢复MySQL数据库

昨天,有个朋友对公司内部使用的一个MySQL实例开启binlog,但是在启动的过程中失败了(他也没提,为何会失败),在启动失败后,他删除了ibdata1和ib_logfile,后来,能正常启动了,但所有的表通过show tables能看到,但是select的过程中却报“Table doesn't exist”. 于是,建议他试试可传输表空间. 同时,自己也测试了下,确实可行. 测试版本 MySQL 5.6.32 社区版恢复的基本步骤 1. 将原来的数据文件COPY到其它目录下. 2. 创建同名

数据库日常维护-CheckList_01历史Agent Job执行情况检查

检查Agent Job中日常维护作业或业务作业是否成功,如每天的备份.碎片整理.索引维护.历史备份文件清除等,可利用SSMS工具,通过CDC下面设置好的DB Server List,运行下面脚本一次,便可以查询完成所有JOB历史运行情况. --SQL -- 参数定义 DECLARE @PreviousDate datetime DECLARE @Year VARCHAR(4) DECLARE @Month VARCHAR(2) DECLARE @MonthPre VARCHAR(2) DECLA

排版紧凑情况下IOS 浏览器的文字部分选中问题

一.需求一个每一项都是图文混排的列表页,在需要对其中的某一部分文字进行选中copy的时候,IOS个二货每次都是直接选中了整个列表项,无论怎么操作它的选框都没有办法做到部分选中. 这是我本周遇到遇到的最奇葩的问题,没有之一. 二.思路仔细思考并试验之后,找到了三个解决方案:(一)放开页面的缩放限制,在用户把页面放大的情况下,文字选中会相对容易很多:(二)把需要选中的文字放进input[text],然后用oninput屏蔽掉input的输入:(三)分析html/css研究下ios为啥总是傻傻分不

如何在Windows Server 2008 R2没有磁盘清理工具的情况下使用系统提供的磁盘清理工具

今天,刚好碰到服务器C盘空间满的情况,首先处理了临时文件和有关的日志文件后空间还是不够用,我知道清理C盘的方法有很多,但今天只分享一下如何在Windows Server 2008 R2没有磁盘清理工具的情况下使用系统提供的磁盘清理工具. 一.在Windows Server 2008 R2,右击C盘,选择属性,弹出下面的界面: 即没有下面清理C盘的工具: 那如何使用系统自带的清理工具呢. 二.驱动器的常规属性和 cleanmgr.exe 磁盘清理选项不是默认情况下出现在 Windows Serve

用SignalR 2.0开发客服系统[系列4:负载均衡的情况下使用SignalR]

前言交流群:195866844 目录: 用SignalR 2.0开发客服系统[系列1:实现群发通讯] 用SignalR 2.0开发客服系统[系列2:实现聊天室] 用SignalR 2.0开发客服系统[系列3:实现点对点通讯] SignalR 2.0作为一个新的而且强大的通信工具,发布博客之后得到了很多人的支持,谢谢...也有人对性能和架设等问题提出了各种质疑..真的很感谢.. 我特意下载了SignalR 2.0的源码硬着头皮用我二流子的英语在微软官方的Demo里翻滚.. 今天这个负载均衡下使用

浏览器对localstorage的支持情况以及localstorage在saas系统中的应用实践思考

首先,还是要说,任何一种新特性的引入,通常有着其特有的场景和解决的目标需求,localstorage也一样.在我们的应用场景中,主要在金融业务服务的saas系统.其中涉及很多更改频率很多的元数据的客户端缓存问题,这是我们使用它的一个关键因素,document之间的传递则不是我们选择它的原因,因为我们可以在框架层面自行统一处理. 各浏览器对localstorage的支持情况如下: 简单的讲,localStorage的原理就是浏览器为每个域名划出一块本地存储空间,用户网页可以通过localStora

Office 365使用情况调查不完全分析报告

感谢大家参与了9月13日在Office 365技术群(O萌)中发起的一个关于Office 365使用情况的调查,在一天左右的时间内,我们一共收到了67份反馈,其中绝大部分是在3分钟内提交的. 本次调查是通过Office 365的Forms服务定制和发起的,下面是Forms内置提供的分析图表,请大家参考. 另外,本次调查收到大家反馈的实际有效问题(或建议)有52个,占所有参与人数的78%.问题主要分为如下几类部署问题,尤其是集中在如何混合部署,兼容性等等使用问题,尤其是希望有更多的使用经验分享

Android 内存泄漏的一些情况。

最近在维护代码,发现一个自定义View(这个View是在一个AsyncTask的工作线程doInBackground中新建的,在UI线程onPostExecute中添加进window中的)经常会泄漏内存,导致其引用的Activity一直得不到释放,每次退出再进去都会导致Activity的对象+1. package com.xxx.launcher.view; import android.content.Context; import android.util.Log; import andro

js内存泄露的几种情况详细探讨

内存泄露是指一块被分配的内存既不能使用,又不能回收,直到浏览器进程结束.在C++中,因为是手动管理内存,内存泄露是经常出现的事情.而现在流行的C#和Java等语言采用了自动垃圾回收方法管理内存,正常使用的情况下几乎不会发生内存泄露.浏览器中也是采用自动垃圾回收方法管理内存,但由于浏览器垃圾回收方法有bug,会产生内存泄露. 1.当页面中元素被移除或替换时,若元素绑定的事件仍没被移除,在IE中不会作出恰当处理,此时要先手工移除事件,不然会存在内存泄露. 复制代码代码如下: <div id="

实时观察Apache访问情况的工具Apachetop

Linux服务器的负载.进程等信息可以通过top命令查看.而Apache的运转如何实时的观察呢?“tail -f”log文件?这是个好方法,但是太累了! 所以,感谢Chris Elsworth为我们提供了类似top命令的apachetop命令!官网地址:http://www.webta.org/projects/apachetop/ apachetop可以查看最近一段时间和自命令执行以来的apache访问情况,信息包括被访问的文件.次数.流量大小. 命令安装.使用可以查看官网提供的说明:http

String构造器中originalValue.length>size 发生的情况

最近在看Jdk6中String的源码的时候发现String的有个这样的构造方法,源代码内容如下: public String(String original) { int size = original.count; char[] originalValue = original.value; char[] v; if (originalValue.length > size) { int off = original.offset; v = Arrays.copyOfRange(origina

Linux常用获取进程占用资源情况手段

测试环境:Ubuntu14.04 1. 获取进程ID号 ps -aux | grep your_process_name 例如: xxx@xxx:~$ ps -e |grep Midlet|awk '{print $1}' 9356 2. 查看进程相关信息 2.1 查看进程树信息: xxx@xxx:~$ pstree -p 9356 runMidlet(9356)───{runMidlet}(9357) 2.2 查看进程打开的文件: xxx@xxx:~$ lsof -p 9356 lsof:

MYSQL的大数据量情况下的分页查询优化

最近做的项目需要实现一个分页查询功能,自己先看了别人写的方法:  <select id="queryMonitorFolder" parameterType="monitorFolderQuery" resultMap="monitorFolderMap"> select id, name, type, var_num, erp, createTime, modifyTime from monitor

Tomcat内存溢出的三种情况及解决办法分析

Tomcat内存溢出的原因在生产环境中tomcat内存设置不好很容易出现内存溢出.造成内存溢出是不一样的,当然处理方式也不一样. 这里根据平时遇到的情况和相关资料进行一个总结.常见的一般会有下面三种情况: 1.OutOfMemoryError: Java heap space 2.OutOfMemoryError: PermGen space 3.OutOfMemoryError: unable to create new native thread. Tomcat内存溢出解决方案对于前两种

在不损坏C盘的情况下为C盘扩容，适用于Win

2016年12月29日14:29:27 参考原文:http://jingyan.baidu.com/article/90808022a6c6b7fd91c80fc8.html 在不损坏磁盘的情况下给某盘扩容,有一个原则: 此处,自己总结为[相邻向右扩]或者[相邻向下扩] 比如给D盘扩容,那就只能从与它相邻的磁盘着手,比如E盘紧邻着D盘,而且在D盘的下一个盘符(或右侧)位置, 图中显示的是F盘在D盘右侧,这跟我个人电脑有关,不过没关系,,意思知道就好了!!! 所以,要给D盘扩容的话,必须先删除它的

巴特西