机器学习中经常遇到这几个概念,用大白话解释一下: 一.归一化 把几个数量级不同的数据,放在一起比较(或者画在一个数轴上),比如:一条河的长度几千甚至上万km,与一个人的高度1.7m,放在一起,人的高度几乎可以被忽略,所以为了方便比较,缩小他们的差距,但又能看出二者的大小关系,可以找一个方法进行转换. 另外,在多分类预测时,比如:一张图,要预测它是猫,或是狗,或是人,或是其它什么,每个分类都有一个预测的概率,比如是猫的概率是0.7,狗的概率是0.1,人的概率是0.2... , 概率通常是0到1之间

                                                    大白话5分钟带你走进人工智能-第二十节逻辑回归和Softmax多分类问题(5) 上一节中,我们讲解了逻辑回归的优化,本节的话我们讲解逻辑回归做多分类问题以及传统的多分类问题,我们用什么手段解决. 先看一个场景,假如我们现在的数据集有3个类别,我们想通过逻辑回归建模给它区分出来.但我们知道逻辑回归本质上是区分二分类的算法模型.难道没有解决办法了吗?办法还是有的,既然想分出3类,我们姑且称这3个类

对于 \(Softmax\) 回归的正向传播非常简单,就是对于一个输入 \(X\) 对每一个输入标量 \(x_i\) 进行加权求和得到 \(Z\) 然后对其做概率归一化. Softmax 示意图 下面看一个简单的示意图: 其中 \(X\in\mathbb{R}^{n\times m}\) 是一个向量或矩阵,这取决于传入的是一个训练样本还是一组训练样本,其中 \(n\) 是输入特征的数量,\(m\) 是传入的训练样本数量:此图只是示意的一个简单的 Softmax 的传播单元,可以把它理解为一个神经

Bert预训练源码 主要代码 地址:https://github.com/google-research/bert create_pretraning_data.py:原始文件转换为训练数据格式 tokenization.py:汉字,单词切分,复合词处理,create_pretraning_data中调用 modeling.py: 模型结构 run_pretraing.py: 运行预训练 tokenization.py 作用:句子切分,特殊符号处理. 主要类:BasicTokenizer, Wo

    Kinect for Windows SDK1.7中引入了Kinect Fusion功能.在1.8的SDK中对该功能进行了改进和强化,Kinect Fusion能够使得我们使用Kinect for Windows 传感器来进行真实场景的三维几何重建,目前已支持导出.obj及.stl等三维数据格式.Kinect Fusion技术在支持GPU加速的机器上能够对物体进行实时的三维建模.和传统的三维建模方式相比,Kinect Fusion最大的优势是快速便捷.     Kinect Fusion

一个被放弃的入门级的例子终于被我实现了,虽然还不太完美,但还是想记录下 1.预处理 相比较从库里下载数据集(关键是经常失败,格式也看不懂),更喜欢直接拿图片,从网上找了半天,最后从CSDN上下载了一个,真的是良心啊,都分好类了,有需要的可以找我 (1)图片大小,灰度,格式处理:虽然这里用不到,以后可能用到,所以还是写了 (2)图片打标:个人想法,图片名称含有标签,训练检测的时候方便拿 代码 from PIL import Image import glob import os def load_

https://blog.csdn.net/hy_jz/article/details/78877483 基于meta-path的异质网络Embedding-metapath2vec metapath2vec: Scalable Representation Learning for Heterogeneous Networks metapath2vec https://dl.acm.org/citation.cfm?id=3098036是17年发表的,使用基于meta-path的随机游走重构节

此为计算机视觉部分,主要侧重在底层特征提取,视频分析,跟踪,目标检测和识别方面等方面. 1. Active Appearance Models 活动表观模型和活动轮廓模型基本思想来源 Snake,现在在人脸三维建模方 面得到了很成功的应用,这里列出了三篇最早最经典的文章.对这个领域有兴趣 的可以从这三篇文章开始入手. [1998 ECCV] Active Appearance Models [2001 PAMI] Active Appearance Models 2. Active Shape

深度前馈网络(前馈神经网络,多层感知机) 神经网络基本概念 前馈神经网络在模型输出和模型本身之间没有反馈连接;前馈神经网络包含反馈连接时,称为循环神经网络. 前馈神经网络用有向无环图表示. 设三个函数组成的链:\(f_3(f_2(f_1))\),$f_1$为网络第一层,叫输入层.$f_2$为第二层,依次类推,中间层叫做隐藏层.最后一层为输出层.链的全长称为模型的深度. 每个隐藏层都有张量值,这些隐藏层的维数为模型的宽度. 概念 解释 输入层 网络的第一层 隐藏层 网络的中间N层 输出层 网络的最

TensorFlow学习笔记3-从MNIST开始学习softmax 本笔记内容为"从MNIST学习softmax regression算法的实现". 注意:由于我学习机器学习及之前的书写习惯,约定如下: \(X\)表示训练集的设计矩阵,其大小为m行n列,m表示训练集的大小(size),n表示特征的个数: \(W\)表示权重矩阵,其大小是n行k列,n为输入特征的个数,k为输出(特征)的个数: \(\boldsymbol{y}\)表示训练集对应标签,其大小为m行,m表示训练集的大小(siz

卷积神经网络(CNN)概述 Introduce 卷积神经网络(convolutional neural networks),简称CNN.卷积神经网络相比于人工神经网络而言更适合于图像识别.语音识别等任务.本文主要涉及卷积神经网络的概念介绍,首先介绍卷积神经网络相比于人工神经网络的优势,其次介绍卷积神经网络的基本结构,最后我们分别介绍神经网络的各个部件从而完整的了解CNN. 以下均为初学者笔记,若有错误请不吝指出. Advantages of Convolutional Neural Networ

导言: 本文介绍了一个在空间和尺度上全活跃特征交互(fully active feature interaction across both space and scales)的特征金字塔transformer模型,简称FPT.该模型将transformer和Feature Pyramid结合,可用于像素级的任务,在论文中作者进行了目标检测和实力分割,都取得了比较好的效果.为了讲解清楚,若有transformer不懂的读者,关于transformer可以在公众号中看另一篇文<Transforme

Abstract 本cuDNN 8.0.4开发人员指南概述了cuDNN功能,如可自定义的数据布局.支持灵活的dimension ordering,striding,4D张量的子区域,这些张量用作其所有例程的输入和输出.这种灵活性可简单集成到任何神经网络实现中. 要访问cuDNN API参考,请参阅cuDNN API参考指南. https://docs.nvidia.com/deeplearning/cudnn/api/index.html 有关先前发布的cuDNN开发人员文档,请参阅cuDNN存

原创作者 |疯狂的Max ERNIE代码解读 考虑到ERNIE使用BRET作为基础模型,为了让没有基础的NLPer也能够理解代码,笔者将先为大家简略的解读BERT模型的结构,完整代码可以参见[1]. 01 BERT的结构组成 BERT的代码最主要的是由分词模块.训练数据预处理.模型结构模块等几部分组成. 1.1 分词模块 模型在训练之前,需要对输入文本进行切分,并将切分的子词转换为对应的ID.这一功能主要由BertTokenizer来实现,主要在/models/bert/tokenization

1. 在我们学习中,调试超参数是非常重要的. 超参数的调试可以是a学习率,(β1和β2,ε)在Adam梯度下降中使用, layers层数, hidden units 隐藏层的数目, learning_rate_dacay 学习率衰减, mini-batch size 每次迭代的样本数目 当需要调节的参数的数目较多时,我们通常使用随机参数选择进行参数调节. 比如学习率的范围为0.0001 - 1 , 在0.0001-0.001之间,样本随学习率的变化较大,因此有必要增加这部分的权重,我们使用log

批量归一化 通常来说,数据标准化预处理对于浅层模型就足够有效了.随着模型训练的进行,当每层中参数更新时,靠近输出层的输出较难出现剧烈变化.但对深层神经网络来说,即使输入数据已做标准化,训练中模型参数的更新依然很容易造成靠近输出层输出的剧烈变化.这种计算数值的不稳定性通常令我们难以训练出有效的深度模型. 批量归一化的提出正是为了应对深度模型训练的挑战.在模型训练时,.批量归一化和下一节将要介绍的残差网络为训练和设计深度模型提供了两类重要思路. 全连接层的批量归一化 计算过程: 某个批量x而言, 首

批量归一化(BatchNormalization) 对输入的标准化(浅层模型) 处理后的任意一个特征在数据集中所有样本上的均值为0.标准差为1. 标准化处理输入数据使各个特征的分布相近 批量归一化(深度模型) 利用小批量上的均值和标准差,不断调整神经网络中间输出,从而使整个神经网络在各层的中间输出的数值更稳定. 1.对全连接层做批量归一化 位置:全连接层中的仿射变换和激活函数之间. 全连接: x=Wu+boutput=ϕ(x) \boldsymbol{x} = \boldsymbol{W\bol

摘抄:https://xienaoban.github.io/posts/2106.html 1. 调试(Tuning) 超参数 取值 #学习速率:\(\alpha\) Momentum:\(\beta\) 0.9:相当于10个值中计算平均值:0.999相当于1000个值中计算平均值 Adam:\(\beta_1\) 0.9 Adam:\(\beta_2\) 0.999 Adam:\(\varepsilon\) \(10^{-8}\) #layers #hidden unit #mini-bat

1. 损失函数 损失函数(Loss function)是用来估量你模型的预测值 f(x) 与真实值 Y 的不一致程度,它是一个非负实值函数,通常用 L(Y,f(x)) 来表示. 损失函数越小,模型的鲁棒性就越好. 损失函数是经验风险函数的核心部分,也是结构风险函数的重要组成部分.模型的风险结构包括了风险项和正则项,通常如下所示: 其中,前面的均值函数表示的是经验风险函数,L代表的是损失函数,后面的 Φ 是正则化项(regularizer)或者叫惩罚项(penalty term), 它可以是L1,

本文来自<ArcFace: Additive Angular Margin Loss for Deep Face Recognition>,时间线为2018年1月.是洞见的作品,一作目前在英国帝国理工大学读博. CNN近些年在人脸识别上效果显著,为了增强softmax loss的辨识性特征学习能力,Sphereface提出的multiplicative angular margin,参考文献[43,44]提出的additive cosine margin等分别通过将角度边际和余弦边际整合到lo