工作环境 巧妇有了米炊 众所周知,Caffe是在Linux下写的,所以长久以来,大家都认为跑Caffe,先装Linux. niuzhiheng大神发起了caffe-windows项目(解决了一些编译.API相异问题) 以及willyd大神发起的caffe-windows-dependencies项目(整理了依赖库,修正了LMDB在NTFS分区的Bug) 我们现在可以很欢乐地在Windows上研究Caffe源码,以及山寨它了. 编辑器 在Windows下涉及CUDA,Visual Studio必然

你说你学过操作系统这门课?写个无Bug的生产者和消费者模型试试! ——你真的学好了操作系统这门课嘛? 在第壹章,展示过这样图: 其中,左半部分构成了新版Caffe最恼人.最庞大的IO系统. 也是历来最不重视的一部分. 第伍章又对左半部分的独立性进行了分析,我是这么描述到: Datum和Blob(Batch)不是上下文相关的. Blob包含着正向传播的shape信息,这些信息只有初始化网络在初始化时才能确定. 而Datum则只是与输入样本有关. 所以,Datum的读取工作可以在网络未初始化之前就开

请以“仰望星空与脚踏实地”作为题目,写一篇不少于800字的文章.除诗歌外,文体不限. ——2010·北京卷 仰望星空 规范性 Caffe诞生于12年末,如果偏要形容一下这个框架,可以用"须敬如师长". 这是一份相当规范的代码,这个规范,不应该是BAT规范,那得是Google规范. 很多自称码农的人应该好好学习这份代码,改改自己丑陋的C++编程习惯. 下面列出几条重要的规范准则: ★const 先说说const问题,Google为了增加代码的可读性,明确要求: 不做修改的量(涵盖函数体内

消费者 回忆:生产者提供产品的接口 在第捌章,IO系统(二)中,生产者DataReader提供了外部消费接口: class DataReader { public: ......... BlockingQueue<Datum*>& free() const { return ptr_pair->free; } BlockingQueue<Datum*>& full() const { return ptr_pair->full; } .........

数据变形 IO(二)中,我们已经将原始数据缓冲至Datum,Datum又存入了生产者缓冲区,不过,这离消费,还早得很呢. 在消费(使用)之前,最重要的一步,就是数据变形. ImageNet ImageNet提供的数据相当Raw,不仅图像尺寸不一,ROI焦点内容比例也不一,如图: [Krizhevsky12]给出了CNN打ImageNet的基本预处理,非常经典的" Random 256-224 Crop",即: 首先,对图片进行统一的缩放,无视宽高比,统一缩放成256*256(可利用Op

听说Google出了TensorFlow,那么Caffe应该叫什么? ——BlobFlow 神经网络时代的传播数据结构 我的代码 我最早手写神经网络的时候,Flow结构是这样的: struct Data { vector<double> feature; int y; Data(vector<double> feature,int y):feature(feature),y(y) {} }; vector<double> u_i,v_i,u_j,v_j; 很简陋的结构,

生产者 双缓冲组与信号量机制 在第陆章中提到了,如何模拟,以及取代根本不存的Q.full()函数. 其本质是:除了为生产者提供一个成品缓冲队列,还提供一个零件缓冲队列. 当我们从外部给定了固定容量的零件之后,生产者的产能就受到了限制. 由两个阻塞队列组成的QueuePair,并不是Caffe的独创,它实际上是生产者与消费者的编程方式之一. 在大部分操作系统教材中,双缓冲区free.full通常由两个信号量empty.full实现. 信号量(Semaphore)由操作系统底层实现,并且几乎没有人会

你说你会关系数据库?你说你会Hadoop? 忘掉它们吧,我们既不需要网络支持,也不需要复杂关系模式,只要读写够快就行.    ——论数据存储的本质 浅析数据库技术 内存数据库——STL的map容器 关系数据库横行已久,似乎大家已经忘了早些年那些简陋的数据存储模式. 在ACM选手中,流传着“手艹数据库”的说法,即利用map<string,type>或者map<int,type>, 按照自己编码规则,将数据暂存起来,等待调用. 这就是KV数据库,最简陋的数据库,也是最实用的数据库. S

你为Class外访问private对象而苦恼嘛?你为设计序列化格式而头疼嘛? ——欢迎体验Google Protocol Buffer 面向对象之封装性 历史遗留问题 面向对象中最矛盾的一个特性,就是“封装性”. 在上古时期,大牛们无聊地设计了三种访问域: public.private.protected. 大多数C++初学者都是疑惑的,甚至是对于传统C程序员而言. 在C规范中,没有class(类)的概念,只有struct(结构体)的概念. 面向对象的C++中,尽管将C规范的struct移植过来

你左手是内存,右手是显存,内存可以打死显存,显存也可以打死内存. —— 请协调好你的主存 从硬件说起 物理之觞 大部分Caffe源码解读都喜欢跳过这部分,我不知道他们是什么心态,因为这恰恰是最重要的一部分. 内存的管理不擅,不仅会导致程序的立即崩溃,还会导致内存的泄露,当然,这只针对传统CPU程序而言. 由于GPU的引入,我们需要同时操纵俩种不同的存储体: 一个受北桥控制,与CPU之间架起地址总线.控制总线.数据总线. 一个受南桥控制,与CPU之间仅仅是一条可怜的PCI总线. 一个传统的C++程

不精通多线程优化的程序员,不是好程序员,连码农都不是. ——并行计算时代掌握多线程的重要性 线程与操作系统 用户线程与内核线程 广义上线程分为用户线程和内核线程. 前者已经绝迹,它一般只存在于早期不支持多线程的系统中. 它用模拟的方式实现一个模拟的多线程系统,不支持异步. 即,一个线程被阻塞了,其它线程也会被阻塞. 当今的操作系统几乎都默认提供了内核线程API,底层由操作系统实现. 内核线程的好处在于,它们之间支持异步,是"真"多线程. 操作系统的流氓软件 不过,内核线程也给线程的使用

你需要一个管家,随手召唤的那种,想吃啥就吃啥. ——设计一个全局线程管理器 一个机器学习系统,需要管理一些公共的配置信息,如何存储这些配置信息,是一个难题. 设计模式 MVC框架 在传统的MVC编程框架中,通常采取设立数据中心的做法,将所有配置信息存在其中. 同时,将数据中心指针共享至所有类,形成一个以数据为中心,多重引用的设计模式. 如图,以MFC默认编程思路为例: 这种编程框架,虽然思路清晰,但是需要将共享指针传来传去,显得相当赘余. 全局静态框架 这是一种新手程序员经常习惯干的事. 不设立

2017年11月22日00:25:54 对lib下面的TH的大致结构基本上理解了,我阅读pytorch底层代码的目的是为了知道 python层面那个_C模块是个什么东西,底层完全黑箱的话对于理解pytorch的优缺点太欠缺了. 看到 TH 的 Tensor 结构体定义中offset等变量时不甚理解,然后搜到个大牛的博客,下面是第一篇: 从零开始山寨Caffe·零:必先利其器 快速浏览了一下这个系列,看的压力山大... 大致理解是offset是为了让Tensor在内存中线性化存储,计算和传输成本低

知乎上的讨论:https://www.zhihu.com/question/27982282 从0开始山寨caffe系列:http://www.cnblogs.com/neopenx/archive/2016/02.html caffe源码阅读系列:http://blog.csdn.net/xizero00?viewmode=contents http://blog.csdn.net/langb2014/article/category/5998589/1 Google Protocol Buf

上面2个函数定义好了,那么剩下的编写网络就比较容易了,我们在ResNet结构介绍中有一个表,再贴出来: Layer_name Output_size 20-layer ResNet Conv1 32 X 32 Kernel_size=3 X 3 Num_output = 16 Stride = 1 Pad = 1 Conv2_x 32 X 32 {3X3,16; 3X3,16} X 3 Conv3_x 16 X 16  {3X3,16; 3X3,16} X 3 Conv4_x 8 X 8  {3

3.搭建网络: 搭建网络之前,要确保之前编译 caffe 时已经 make pycaffe 了. 步骤1:导入 Caffe 我们首先在 ResNet 文件夹中建立一个 mydemo.py 的文件,本参考资料我们用 spyder 打开.要导入 Caffe 的话直接 import caffe 是不可以的,因为系统找不到 caffe module,这时候要告诉系统 caffe 在哪里可以导入,因此需要添加 caffe 的路径,准确地说是 caffe-master/python 路径.为了以后的方便,我

声明:Caffe 系列文章是我们实验室 黄佳斌 大神所写的内部学习文档,已经获得他的授权允许. 本参考资料是在 Ubuntu14.04 版本下进行,并且默认 Caffe 所需的环境已经配置好,下面教大家如何搭建 KaiMing He 的 Residual Network(残差网络). Cite: He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE

http://www.cnblogs.com/neopenx/default.html?page=1 这个博主很牛逼,写的东西也很好,多学学,无论是对框架,还是对自己学习c++帮助都非常大

还没解决,以下是解释fine-tune 比如说,先设计出一个CNN结构.然后用一个大的数据集A,训练该CNN网络,得到网络a.可是在数据集B上,a网络预测效果并不理想(可能的原因是数据集A和B存在一些差异,比如数据来源不同导致的代表性差异).如果直接用B的一部分训练的话,数据量太小,CNN不适用. 解决方法:将数据集B分为train集和test,以a网络的参数为初始参数,以较小的学习率,以B的train集为训练数据,继续训练,得到网络b. 这样,b在B的test集中一般可实现较好的预测精度. —

[转:http://www.csdn.net/article/2015-07-07/2825150] 在深度学习(Deep Learning)的热潮下,Caffe作为一个高效.实用的深度学习框架受到了广泛的关注.了解Caffe研发的背景.愿景.技术特色.路线图及其开发者的理念,对于我们选择合适的工具更好地进行深度学习应用的迭代开发大有裨益.<程序员>记者近日深度对话Caffe作者贾扬清,剖析Caffe的起源.目标.差异性.现存的一些问题和改进工作,以及未来的规划. 起源故事 <程序员&g