一、OrtEnv

OrtEnv在onnxruntime_c_api.h中声明，通过宏ORT_RUNTIME_CLASS(Env)。

在头文件中，只会用到OrtEnv的指针，不会用到实现，因此不会发生编译错误。

OrtEnv的实现在onnxruntime_c_api.cc中，这里的实现用的是class，但是声明为struct。

这在C++中是允许的，因为C++不区分class和struct，两者只有默认访问权限的区别。

// struct与class混用

#include <iostream>

struct A;

void my_print(A* a);

class A {

public:

    void print() {

        std::cout << "Hello\n";

    }

};

void my_print(A* a) {

    a->print();

};

int main() {

    A x;

    my_print(&x);

    return 0;

}

OrtEnv实现了一个单例类，主要负责日志和会话间共享分配器的管理。

OrtEnv实际上只是对onnxruntime::Environment的简单封装，日志管理和分配器的管理都在onnxruntime::Environment中实现。

OrtEnv相当于一个中间层，或者说，充当C接口与C++实现的兼容的中间类。

onnxruntime的C接口中的，其他一些类也与OrtEnv类相似。

引用计数

可以注意到，这里的OrtEnv作为一个单例，与通常设计模式的单例，稍有区别。

主要添加了一个引用计数ref_count_。

当GetInstance()时，如果还没有创建局部静态对象OrtEnv，那么创建一个OrtEnv，用p_instance_保存。

如果已经创建了p_instance_，那么只要ref_count_加一，返回p_instance_。

Release()释放时，检查ref_count_即可。

线程间互斥锁

OrtEnv是被全局共享的，不同的会话session在不同的线程。因此需要mutex。

onnxruntime使用OrtMutex代替std::mutex。说明如下，

// Q: Why OrtMutex is better than std::mutex

// A: OrtMutex supports static initialization but std::mutex doesn't. Static initialization helps us prevent the "static

// initialization order problem".

// Q: Why std::mutex can't make it?

// A: VC runtime has to support Windows XP at ABI level. But we don't have such requirement.

// Q: Is OrtMutex faster than std::mutex?

// A: Sure

二、onnxruntime::Environment

前面说到OrtEnv只是对onnxruntime::Enviroonment的简单封装。

Environment里面主要包含了，1个日志管理器，1个会话间共享的分配器，2个线程池（分别用于Op内和Op间）。

Environment类通过静态函数Create去创建自己，类似工厂方法；而不是直接在构造函数内进行初始化。

这样可以更好的控制对象的初始化，在初始化过程做更多的操作。在Initialize函数内实现。

Initialize函数内，主要做了3件事。

1. 传入一个日志管理器。

2. 创建2个线程池。

3. 根据不同的编译选项，注册各组的Op

巴特西

onnxruntime源码解析之C接口实现

一、OrtEnv

引用计数

线程间互斥锁

二、onnxruntime::Environment

最新文章

热门文章