网站首页 > 社会 > 如何简单形象又有趣地讲解神经网络是什么?

如何简单形象又有趣地讲解神经网络是什么?

2019-10-27 13:10:20 来源:头寨网 作者:网站编辑 阅读:2473次

简单图像

有趣的

神经网络一点也不难,它们非常可爱!!!

神经网络分类

神经网络最重要的用途是分类。为了让人们对分类有一个直观的理解,让我们先看几个例子:

这种能自动对输入进行分类的机器叫做分类器。

分类器的输入是一个称为特征(向量)的数值向量。

分类器的输出也是数字的。

分类器的目标是使正确分类的比率尽可能高。通常,我们需要首先收集一些样本,手工标记正确的分类结果,然后使用这些标记的数据来训练分类器。训练好的分类器可以处理新的特征向量。

神经元

假设分类器的输入是通过某种方式获得的两个值,输出是0和1,例如,分别代表猫和狗。现在有一些例子:

让我们想想,分离这两组特征向量的最简单方法是什么?

当然,在两组数据之间画一条垂直线,狗在左边,猫在右边,分类器就完成了。从那时起,新的载体被引入。所有落在直线左边的是狗,落在右边的是猫。

直线将平面分成两部分,平面将三维空间分成两部分,n-1维超平面将n-维空间分成两部分。双方属于两种不同的类型。这个分类器叫做神经元。

每个人都知道平面上的线性方程是

,方程的左侧大于零和小于零分别代表点

在直线的一边或另一边,这个公式被扩展到N维空间。直线的高维形式称为超平面,其方程为:

神经元是一种模型,当h大于0时输出1,当h小于0时输出0。其实质是将特征空间分为两半,认为两个叶分别属于两类。恐怕你永远也想不出更简单的分类器了。麦卡洛克和皮茨在1943年提出了这个问题。

这个模型有点像人脑中的神经元:它从多个受体接收电信号。

,进行处理(加权相加和偏移一位,即确定输入是否在一条直线上

的一边),发出一个电信号(右边发出一个1,否则不发出信号,可以认为发出一个0),这就是它被称为神经元的原因。

当然,直到我们在上面的图片中打开上帝的视角,我们才知道“垂直线可以分为两种类型”。在神经元的实际训练中,我们不知道这些特征是如何聚集的。神经元模型的一种学习方法称为hebb算法:

首先,随机选择一条直线/平面/超平面,然后一个接一个地带来样本。如果这条直线是错误的,那么这一点就在错误的一边,把这条直线移得离这个样本近一点,试着穿过这个样本,让它跑到这条直线的右边。如果直线是对的,它会暂时停止。因此,训练神经元的过程是,这条直线一直跳舞,最后跳到两个班之间的垂直线位置。

神经网络

Mp神经元有几个明显的缺点。首先,它将直线的一边变为0,另一边变为1,这是不可微分的,也不利于数学分析。

人们使用类似于0-1步函数但更平滑的函数sigmoid函数来代替它(sigmoid函数有一个标度参数,它可以控制神经元对离超平面不同距离的点的响应,并在这里忽略它)。从那时起,神经网络的训练就可以用梯度下降法来构造,这就是所谓的反向传播算法。

神经元的另一个缺点是它们只能切割一次!告诉我一把小刀是如何把以下两类分开的。

解决方案是多层神经网络。底部神经元的输出是顶部神经元的输入。我们可以在中间水平和垂直切割一把刀,然后将左上部分和右下部分组合起来,并将它们与右上部分和左下部分分开。你也可以在左上角切10把刀,先把这个部分挖出来,然后和右下角合并。

事实上,每次切刀时,都使用一个神经元,不同的切半平面进行相交和平行运算,即这些神经元的输出作为输入,然后连接一个神经元。在本例中,特征的形状称为异或。在这种情况下,一个神经元不能处理它,但是两层神经元可以正确地对它进行分类。

只要你能切足够的刀,把结果放在一起,任何奇怪形状的边界神经网络都可以被表示出来,所以神经网络理论上可以表示非常复杂的函数/空间分布。然而,真正的神经网络能否摆动到正确的位置取决于初始值设置、样本大小和网络分布。

神经网络的神奇之处在于其简单的组件——将空间分割成特定的激活函数(0-1步,sigmoid,max-pooling),但它可以一层一层地连接起来。输入向量连接到许多神经元,这些神经元的输出连接到一组神经元。这个过程可以重复多次。

这与人脑中的神经元非常相似:每个神经元都有一些神经元作为输入,其他神经元作为输入。数值向量就像电信号,在不同的神经元之间传导。每个神经元只有在满足特定条件时才会向下一层神经元传输信号。

当然,人脑比神经网络模型复杂得多:人工神经网络通常没有环形结构;人脑神经元的电信号不仅具有强信号和弱信号,而且具有时间优先性。就像莫尔斯电码一样,人工神经网络中没有如此复杂的信号模式。

神经网络的训练依赖于反向传播算法:开始时,输入层输入特征向量,网络逐层计算得到输出。当输出层发现输出不同于正确的类别号时,它允许最后一层神经元调整参数。最后一层神经元不仅自己调整参数,还命令与之相连的倒数第二层神经元一层一层地进行调整和反向调整。调整后的网络将继续在样本上测试。如果输出仍然错误,调整将继续重复,直到网络输出令人满意。这与中国的文学艺术体系非常相似。武媚娘的传奇船员是网络中的一个神经元,最近调整了它的参数。

大型神经网络

我们不禁会想,如果我们的网络有10层神经元和8层2015神经元,这意味着什么?

我们知道它以第七层的大量神经元的输出作为输入,第七层的神经元以第六层的大量神经元作为输入,那么第八层的这个特殊神经元代表了一些抽象的概念吗?

就像你的大脑有许多负责处理声音、视觉和触觉信号的神经元,它们为不同的信息发送不同的信号一样,有没有这样一个神经元(或一小组神经元)收集这些信号,分析它们是否符合抽象概念,并与负责更具体和抽象概念的其他神经元相互作用?

2012年,多伦多大学的克里热夫斯基(krizhevsky)等人构建了一个9层、65万个神经元和6000万个参数的超大型卷积神经网络。

网络的输入是图片,输出是1000个类,如臭虫、豹子、救生船等。

该模型的训练需要大量的图片,其分类精度也大大提高。

纽约大学的泽勒和弗格森挑选了这个网络中的一些神经元,把那些反应特别大的输入图像放在一起,看看它们有什么共同点。他们发现中间层的神经元对一些非常抽象的特征做出反应。

第一层神经元

主要负责识别颜色和简单纹理

第二层的一些神经元

您可以识别更精细的纹理,如布料、鳞片和树叶。

第三层的一些神经元

负责感受夜晚的黄色烛光、蛋黄和亮点。

第四层的一些神经元

负责识别可爱狗脸、七星瓢虫和一堆圆形物体的存在。

第五层的一些神经元

花、圆顶、键盘、鸟和有黑眼圈的动物都可以被识别出来。

这里的概念不是整个网络的输出,而是网络中层神经元的偏好,它们服务于后面的神经元。尽管每个神经元都很愚蠢(只有一个切口),但650,000个神经元能学到的东西真的很深刻。

相关新闻

文章部分转载,仅供学习和研究使用。如有侵犯你的版权,请联系我们,本站将立即改正。

网站简介 | 版权声明 | 联系我们 | 广告服务 | 工作邮箱 | 意见反馈 | 不良信息举报 | 

Copyright @ tehnuk.com All Rights Reserved

版权所有 头寨网