说道Python和多线程,非常easy想到GIL,GIL意味着仅仅要是用Python做的多线程程序。就无法利用多个CPU。

经过一些失败的尝试后,我也一度觉得GIL是无解的。我们甚至把注意力转向了IronPython等无锁Python,可是实际上那样问题可能很多其它。比方我们不熟悉mono,mono也没达到全然成熟的程度。

直到skynet的QQ群里一位朋友介绍了还有一种载入so的方式,事情才有了180度的变化。

方法例如以下:

1、编译Python源代码,编译时加上參数--enable-shared,编译成so动态链接库。

2、找到so,拷贝N份。分别命名为 libpython_1.so, libpython_2.so, ... 等等

3、用C语言。使用linux下的ldfcn库。动态载入这些so库,ldfcn能够保证同名全局变量不冲突。

(C语言源代码。待整理)

#include <stdio.h>
#include "Python.h"
#include <dlfcn.h>
#include <pthread.h> #define N 5 void* h[N] = { NULL }; void thread( int index )
{
void(*py_init)();
int(*is_init)();
PyObject*(*py_import)(char*);
PyObject*(*py_getattr_bystr)(PyObject*, char*);
PyObject*(*py_call)(PyObject*, PyObject*); py_init = NULL;
is_init = NULL;
py_import = NULL;
py_getattr_bystr = NULL;
py_call = NULL; PyObject* mod = NULL;
PyObject* func = NULL;
PyObject* ret = NULL; py_init = dlsym( h[index], "Py_Initialize" );
is_init = dlsym( h[index], "Py_IsInitialized" );
py_import = dlsym( h[index], "PyImport_ImportModule" );
py_getattr_bystr = dlsym( h[index], "PyObject_GetAttrString" );
py_call = dlsym( h[index], "PyObject_CallObject" ); py_init();
mod = py_import( "hello" );
func = py_getattr_bystr( mod, "output" );
ret = py_call( func, NULL ); return;
} int main()
{
char temp[64];
int i;
int ret;
pthread_t tid[5] = {0}; for (i=0; i<N; ++i) {
sprintf( temp, "libpython/libpython3.4m_%d.so", i+1 );
//h[i] = dlopen( temp, RTLD_NOW | RTLD_DEEPBIND );
h[i] = dlopen( temp, RTLD_NOW );
} for ( i=0; i<N; ++i ) {
ret=pthread_create( &tid[i], NULL, (void *)thread, (void*)i ); // 成功返回0。错误返回错误编号
} for ( i=0; i<N; ++i ) {
pthread_join( tid[i],NULL );
} return 0;
}

(编译注意事项。待整理)

(环境变量设置,待整理)

用简单Py脚本測试。会发现脚本的执行确实是独立的。可是假设用了 import time。则会造成段错误。

原因是用这样的方法。以后import的各种python的库,假设是C语言扩展的,那么就会由于反复而冲突。

解决方法是在编译Python时,增加--enable-time,把time库和python库编译到一起。就能解决问题。(解决方法见后面)

(还有一种备选方案是找到time源代码。在库名后加上数字,也编出N份time_1, time_2... 等等。在脚本里也分别import不同的time库,就可以。)

(2015-9-3注:对这个问题的理解在本系列第六章会有深入的解答。)

因为我们的Python环境禁止在脚本内启动多线程,所以能够增加编译參数--without-threads,这样还能略微提高一点执行效率。

2015-8-26补充:

在编译python时把其它module增加同一个so:

改动 Module/Setup 文件,查找datetime。依照datetime相同的格式写上你要打包的源文件和目标名称。

被凝视的库取消凝视也能够打包。

检查是否打包成功:

用vim之类的文本编辑器,直接打开so文件,搜索keyword。比方datetime,就可以确认你的源代码是否被打包进入so。

(执行的时候注意确认,用python启动的是哪一个so,是系统的还是自己编译的。

建议每次启动都暂时改动LD_LIBRARY_PATH环境变量,避免污染系统环境。)

最新文章

  1. rails中的session
  2. __ block
  3. ArithUtil工具类 : 精确计算各种运算
  4. Java发送socket请求的工具
  5. mysql的ONLY_FULL_GROUP_BY语义 --转自http://www.wtoutiao.com/p/19dh3ec.html
  6. 【迁移】—Entity Framework实例详解
  7. Android学习笔记之打钩显示输入的密码
  8. Linux下文件的压缩和解压
  9. Day12 - 堡垒机开发
  10. CSS3 border属性的妙用
  11. Java批处理操作
  12. Swift语言指南(二)--语言基础之注释和分号
  13. view视图--display中echo出ob_get_contents的缓冲内容--(实现,拼接好文件--导入文件)
  14. kubeadm 安装1.6.0版本出错 未解决
  15. Gradle下载 Jar 包
  16. nodejs中使用crypto-js先HmacSha1加密后转Base64
  17. Eclipse中SVN插件的安装和配置(在线安装)
  18. ajax----发送异步请求的步骤
  19. 安卓开发helloworld
  20. 小整数池和intern机制

热门文章

  1. SharePoint创建一个简单的Visio Web部件图
  2. luogu2774 方格取数问题 二分图最小权点覆盖集
  3. AJAX复习笔记
  4. 深入了解Token认证的来龙去脉
  5. shell 杂集
  6. (C++)错误提示 c2352 :非静态成员函数的非法调用
  7. C-C语言概述
  8. 依赖注入与Service Locator
  9. Java基础6一面向对象
  10. Spring学习笔记之依赖的注解(2)