tsdb import 相关

今天一直在做opentsdb 大量导入数据的工作。中间遇到了一些值得记录的问题，这里随手记一下明天好好整理

1. 多进程logger

python的logging模块不支持多进程，但我们可以用syslog模块把进程写给linux/unix的syslog服务。

syslog 有local 0 - 7 8个通道。把一个通道配置到你的日志文件然后写入即可

2. 多进程

apply_async 这个函数有点奇怪。下面的代码df如果是string就可以。如果不是string，那么子进程好像不会运行。。

#!/usr/bin/python

__author__ = 'mingwli'

import syslog

import multiprocessing

from multiprocessing import Pool

import pydevd

syslog.openlog('file: %s' % "My file", 0, syslog.LOG_LOCAL0)

def write_log(f):

        syslog.syslog('Log msg: %s' % 'test msg')

pool = Pool(processes=20)

result = []

mylist = range(0, 20)

for df in mylist:

    result.append(pool.apply_async(write_log, (str(df))))

pool.close()

pool.join()

print "all done"

巴特西

tsdb import 相关

最新文章

热门文章