参考:
最近,我已经开始学习深度学习。基本上,他们都是博客作者的文章。他们写得很好,非常全面。他们还将根据自己的想法删除和完善它们。
深层的基本思想
假设我们有一个系统s,它具有n层(s1,... sn),其输入为i,输出为o,它以:i => s1 => s2 => ... .. => sn => o,如果输出o等于输入i,也就是说,在此系统更改后输入i后没有信息丢失(嗯,丹尼尔说这是不可能的。信息理论中有一个说法,即“信息是按一层丢失的“(信息处理”(信息处理“不愿意的),设置处理A信息以获取B,然后处理C以获取C,然后可以证明A和C的共同信息不会超过A和B的互信息丢失的信息当然是,如果您丢失了,则没有用。信息(即输入i)现在返回我们的主题,我们需要自动学习特征。它的输出仍然是输入i,因此我们可以自动获得输入i的一系列分层特征,即S1,...,SN。
对于深度学习,它的思想是堆叠多层,这意味着该层的输出用作下一层输入。这样,可以将输入信息分级。
另外,先前的是输出严格等于输入。这个限制太严格了。我们可以稍微放松这个限制。例如,我们只需要使输入和输出之间的差异尽可能小。这种放松将导致另一种不同类型的深处。方法。以上是深层的基本思想。
浅学习()和深度学习(深度)
浅学习是机器学习的第一波。
在1980年代后期,用于人工神经网络的反向通信算法的发明(也称为后算法或BP算法)为机器学习带来了希望,并基于统计模型引发了狂热。这个繁荣一直持续到今天。发现使用BP算法可以允许人工神经网络模型从大量训练样本中学习统计定律,从而预测未知事件。与基于人造规则的过去系统相比,这种基于统计的机器学习方法在许多方面都表现出了优越性。目前,尽管人工神经网络也称为多层,但实际上它是一个仅包含一个隐藏层节点的浅模型。
在1990年代,提出了各种浅机器学习模型,例如支持向量机(SVM,),最大熵方法(例如LR,)。这些模型的结构基本上可以看作是隐藏层节点(例如SVM,)或没有隐藏层节点(例如LR)。这些模型在理论分析和应用中都取得了巨大的成功。相比之下,由于理论分析的困难,培训方法需要大量的经验和技能。在此期间,浅的人工神经网络相对沉默。
深度学习是机器学习的第二波。
2006年,加拿大多伦多大学教授和机器学习领域及其学生发表了一篇文章,该文章在学术和工业界开辟了一波深度学习。本文有两个要点:1)人工神经网络的多层密封性层具有出色的特征学习能力,并且通过学习获得的特征具有更重要的数据刻画,这有利于可视化或分类;训练难以通过“层次前”有效地克服。在本文中,初始化层次是

目前,大多数学习方法(例如分类和回归)是浅层结构算法。这些局限性仅限于有限的样本和计算单元,并且具有有限的指数能力,可以进行复杂功能,并且其对复杂分类问题的概括能力受到限制。深度学习可以学习深度非线性网络结构,实现复杂的功能近似,表征输入数据分布式表示形式,并显示强大样本集中数据集的基本特征的能力。 (多层次的优点是可以使用较少的参数来表示复杂的功能)
深度学习的本质是通过构建许多隐藏的机器学习模型和大量培训数据来学习更多有用的功能,从而最终提高了分类或预测的准确性。因此,“深层模型”是一种手段,“特征学习”是目的。与传统的浅层学习不同,深度学习之间的差异是:1)强调模型结构的深度,通常是5、6,甚至超过10层隐藏的层节点; 2)清楚地强调了特征学习的重要性,换句话说,通过更改特征层,样本在原始空间中的特征被转变为新的特征空间,从而更容易进行分类或预测。与人工规则的特征相比,使用大数据来学习特征,它还可以描绘数据的丰富内部信息。
深处
深度学习是机器学习研究的新领域。动机是建立和模拟人脑以分析和学习神经网络。它模仿了人脑的机制来解释数据,例如图像,声音和文本。
深度学习的概念来自人工神经网络的研究。包含多个隐藏层的多层感知是一种深度学习结构。深度学习通过低级别特征的组合形成了更抽象的高级别代表性类别或特征,这是通过发现数据的分布特征来表示的。
深处是一个分支,这是可以理解的。大约两三十年前,它曾经是ML领域特别热门的方向,但随后它确实逐渐消失,包括以下方面:
1)更容易过度合适,参数更加困难,并且需要很多技巧;
2)训练速度相对较慢,并且当水平较小(小于或等于3)时,效果不比其他方法好;
因此,中间大约有20年,而神经网络几乎没有引起关注。这个时期基本上是SVM和算法的世界。但是,他坚持不懈地痴迷于老绅士,并最终吸引了一个实用且可行的深层框架(与其他人一起,Yann.lecun等)。
深层和传统神经网络之间存在许多差异。
同样的是,深层使用神经网络的分层结构。该系统由由输入层,隐藏层(多层)和输出层组成的多层网络组成。跨层节点之间没有连接,并且每一层都可以视为模型。这种分层结构更接近人脑的结构。
为了克服神经网络培训中的问题,DL使用了与神经网络的截然不同的训练机制。传统的神经网络(作者在这里主要指的是正面 - 神经网络),该网络是由背面执行的。简而言之,它使用迭代算法来训练整个网络,随机设置初始值,计算当前网络输出,然后使用当前网络输出,然后基于当前网络的输出。当前输出和标签之间的差异会更改上层的参数,直到收敛为止(总体是梯度下降方法)。深度是整个层面训练机制。原因是因为如果采用了后背机制,则对于深(超过7层),将残留的延伸到前层变得太小,并且出现了SO被称为(梯度扩散)。我们将讨论这个问题。
8。深训练过程
8.1。为什么不能在深度神经网络中使用传统神经网络的训练方法
作为传统培训多层网络的典型算法,对于仅几层网络的培训方法,BP算法实际上是非常不满意的。深层结构(涉及多个非线性处理单元层)非凸目标成本函数中的局部最小值是训练困难的主要来源。
BP算法的问题:
(1)梯度越来越薄:从顶层越来越多,校正信号越来越小;
(2)收敛到局部最低值:尤其是当它从最佳区域远离开始时(随机值的初始化将导致这种情况);
(3)通常,我们只能使用标签数据进行训练:但是大多数数据没有标记,并且大脑可以从没有标签数据中学习;
8.2。深入训练过程
如果所有层都经过同时训练,那么时间的复杂性将太高;如果每一层都是训练的,则偏差将逐层通过。这将面临上述监督学习的对立面,这将是认真的欠款(因为深层网络的神经元和参数太多)。
在2006年,提出了在非数据上建立多层神经网络的有效方法。简而言之,它分为两个步骤。一种是每次训练一层网络。高级表明R和R尽可能多地产生X'的高级代表。该方法是:
1)首先按一层构建单个层神经元,以便每次都会训练单层网络。
2)训练所有层后,使用唤醒算法进行调整。
顶层另一层的重量变成了两个路,因此顶层仍然是一个单个层神经网络,而其他图层则成为图形模型。向上的重量用于“认知”,并且向下重量用于“生成”。然后使用唤醒式算法调节所有重量。同意让认知和生成,也就是说,生成生成的顶层表明可以将可以恢复到底层的节点可以尽可能正确地恢复。例如,顶层上的节点指示面部,然后每个人的脸的图像应激活此节点,并且该结果产生的图像应能够显示一般的面部图像。唤醒级别的算法分为两个部分:唤醒和睡眠。
1)唤醒阶段:通过外界的特征和向上的重量(认知重量)生成每一层抽象表示(节点状态),并使用梯度减轻下行链路重量(产生重量(产生重量)) )在修改层之间。也就是说,“如果现实与我想象的不同,改变体重会使我想象的事情。”
2)睡眠阶段:通过顶层表示(在醒来时学到的概念)生成过程,并且向下重量产生了基本状态,并同时修改层的向上重量。也就是说,“如果梦想中的场景不是我脑海中的相应概念,那么我认为我的认知权重就会使这个场景成为现场。”
深训练过程如下:
1)从非学习的自下而上(即,从底部开始,一层训练一层到顶层):
采用非校准数据(也可以提供校准数据)分层训练参数。可以将此步骤视为一个无过程培训过程,是传统神经网络的最大部分(可以将其视为该过程):
具体而言,首先使用没有校准数据的第一层数据,并在训练时首先了解第一层的参数(可以将其视为隐藏层,以获取最小的神经网络,以使输出并输入最小的输出),因为模型是由于模型造成的,因为模型限制和稀疏约束使获得的模型能够学习数据本身的结构,从而获得比输入更多的代表性特征。在学习N-1层后,将N-1层的输出用作NN NN层作为NNNN层作为NNN层作为NNN层,为NNN层,作为NNN层,作为NNN层作为NN NN层NN N.层的输入,NN层的训练以及每个层的参数;
2)从顶部进行监督和学习(即用标签训练数据,从顶部传输错误,并且网络符合良好的态度):
基于第一步获得的第一步,整个多层模型的整个多层模型的参数是监督和培训的过程。与神经网络的随机初始化过程相似的第一步。因为DL的第一步不是通过学习输入数据的结构来获得随机的随机初始化。因此,此初始值更接近全球最佳,以取得更好的结果。因此,深层效果在很大程度上是由于第一步。
# SEO的首页域名网站
# 湛江网站建设平台
# 口碑好的seo优化软件
# 乌苏抖音关键词排名门店
# 黔南seo效果最好的企业
# 华安外贸网站建设
# 广州企业的网站建设模板
# 洛阳网站建设 培训
# 哪里看小红书关键词排名
# 网站推广如何提升收录
# 靠谱网站优化推广
# 很好
# 泰州seo
# 东莞建设服务网站
# 营销计划推广在哪里设置
# 详细简述网站建设的过程
# 襄阳seo全网推广
# 米神seo
# 唐人社网站建设素材
# 东营市网站建设推广
# seo 带www
# 提出了
# 探究Deep Learning基本思想
# 这是
# 的是
# 都是
# 是一个
# 也就是说
# 是一种
# 多个
# 在此
# 将其
# 深度学习学习参考zouxy09博主文章
# 我们可以
# 深处
# 更容易
# 丹尼尔
# 多伦多
# 自己的
# 更接近
# 如果您
# 在这里
相关文章:
5个可以提升seo推广效果的网站运营策略分享!
网赚游戏真的很赚钱吗?揭秘网赚游戏背后的真实秘密!
【广告联盟防骗指南】五大技巧助你远离骗子广告联盟!
qq群营销技巧有哪些?如何做好qq群营销实现精准引流?
网上接单赚钱搞起来!8个靠谱且收益不错的网上兼职项目
广告联盟上日赚1000+的方法和经验分享!
什么是高佣联盟,高佣联盟赚钱靠不靠谱?
日付广告联盟有哪些?日付广告联盟哪个靠谱?
如何在短期内快速提高网站的百度关键词排名?
怎么把流量变现?10个流量变现方法介绍!
app推广渠道有哪些?app快速引流获客你得这样做!
赚钱项目接单平台整理分享,想赚钱的不要错过了!
点击广告赚钱是真实的吗?是不是骗局?
广告结合抖音项目助你轻轻松松赚大钱!
揭秘利用百度小程序挂广告赚钱的操作玩法,竟然还可以这样玩?
app推广之在APP Store上该怎么推广?
应用内推广app怎么做?这7个方法收好了!
在广告联盟上推广赚钱广告和广告哪个收益更好?
联盟平台哪个好?哪个联盟赚钱收益好?
手机赚钱该如何做?手机赚钱的平台哪些比较好?
11个常见的网站引流方法,网站有流量才能赚钱!
APP有效拉新推广需要哪些问题?
广告营销策略与技巧有哪些?最常见的9种广告营销策略盘点!
可以单人做任务来赚钱的项目有哪些?有哪些靠谱的平台推荐?
有娃后经济压力大?宝妈必看这几个亲测可行的靠谱副业 营销推广物料有哪些类型
广告联盟计费方式之联盟广告推广计费有哪些优势?
推广赚钱被动躺赚玩法介绍
如何做好推广赚钱?推广方法有哪些?
推广之利用微信引流吸粉的四个方法
加速度jsudo更新便利店小程序系统,三大特色助力管理升级 宁海网站的优化
利用热门电影日引流1000+的方法,学会了引流不再是问题!
网赚是什么?关于赚钱你不得不知的几个问题!
6个可以利用手机赚钱兼职做任务的app和平台介绍!
广告联盟是什么?主要有这三大分类!
app地推过程中需要注意的一些推广技巧以及常见问题!
社交app推广引流的6大方式
夏至将至荷香夏长,南阳师院教授剪纸绘盛夏美好 美术试卷网站建设
利用图片变现的网赚项目操作思路分享!
个人站长网站变现,务必注意这8条做广告联盟赚钱的小技巧!
做网赚想要月入过万所必须要经历的四个阶段!
不可错过的16个最基本的网络引流推广平台及方法介绍
利用网站seo优化技术做广告联盟赚钱的整体操作思路和流程
想要快速引流获客?qq群营销的这6大主要手段必须掌握!
新手如何做项目可以达到日赚500?我来教你!
|直播|app需要什么资质呢?需要具备这6个资质证件!
2020年的广告联盟行业,你的赚钱能力及格了吗?
想要做秀场|直播|平台上的主播,需要具备哪些素质?
警惕!自动续费套路深,追剧省钱竟变冤大头,咋查在哪续?
苏州代理化妆品进口清关资料全解析,这些资质与流程要知晓 青海网站建设书籍
现代互联网时代,公司网站建设费用受哪些因素影响? 数据网站建设
相关栏目:
【
广告资讯90366 】
【
广告推广18483 】
【
广告优化154267 】
【
广告营销46464 】