手机浏览器扫描二维码访问
第14章 一不小心站在了技术发展的最前沿（第1页）
2014年，人工智能领域正处于深度学习的快速发展时期，但在训练深层神经网络时，仍存在一些无法绕过的核心难题，其中“梯度消失”和“梯度爆炸”问题尤其突出。
当马库斯和林枫的对话逐渐转向这些人工智能瓶颈时，他们自然聊到了这个话题。
对于人工智能涉及到的梯度消失和梯度爆炸这个问题，对于前世就从事人工智能方面工作的林枫来说，他自然是不陌生。
梯度消失和梯度爆炸是神经网络训练中常见的问题。
了解梯度消失和梯度爆炸首先要了解神经网络。
简单说，神经网络是一种模仿人脑工作原理的计算模型。
它由很多“神经元”组成，这些神经元分成多层，数据会从一层传到另一层，最终得到一个结果。
训练神经网络的过程就是不断调整这些神经元之间的“连接强度”，让网络的输出越来越接近我们想要的结果。
为了调整神经网络中的这些连接强度，我们需要用到一种叫“梯度”的东西。
简单来说，梯度就是用来指引我们“往哪里走”的方向，就像你爬山时要知道往哪边是上坡、哪边是下坡。
我们通过“梯度”来知道哪些参数需要调整，从而让网络的表现变得更好。
那“梯度消失”和“梯度爆炸”又是什么呢？
假设你在玩一个滑滑梯，当你站在滑梯的最高处，往下滑时，你能很快感受到速度在增加，因为坡度很大。
但是，如果滑到快要到底部的地方，坡度变得很小，你几乎就感觉不到滑动的速度了。
这里的“坡度”就像是“梯度”——当坡度变小，滑动的速度也变小。
在神经网络中，类似的事情也会发生。
如果我们给网络很多层，它们之间的梯度会越来越小，传到前面几层时，梯度几乎“消失”了。这就是“梯度消失”问题。
梯度太小，无法有效调整那些神经元的连接强度，网络的训练就会变得非常困难。
想象你在爬一个大山，山的坡度越来越平，最终你几乎感受不到自己在上升了，这时你很难再判断该怎么继续往上爬。
在神经网络里，梯度消失的问题就是这种感觉，网络不知道该如何继续改进。
而梯度爆炸又是另外的一个极端。
假设这次你站在一座非常陡的悬崖边，一不小心就滚下去了！
因为坡度太陡了，你的速度变得非常快，失控了。
在神经网络中，这种情况也被称为“梯度爆炸”
当梯度太大时，参数的调整会变得过于剧烈，网络的学习变得不稳定，甚至会导致训练失败。
这就像你在陡峭的悬崖边滑落，一下子失去了控制。
网络的参数变化过大，导致结果变得很不稳定，甚至完全错误。
概括地说：
梯度消失就像在一座越来越平的山坡上，梯度变得很小，神经网络不知道该怎么调整，进而学习变得很慢，甚至无法进步。
梯度爆炸就像从悬崖边滚下去，梯度变得很大，网络的学习变得过于剧烈，结果会非常不稳定，训练过程变得不可控。
这两个问题经常会出现在深层神经网络中。
而这也是马库斯所要倾诉的困扰。
“说起来，最近的研究还卡在了‘梯度消失’的问题上。”马库斯苦笑着说道，靠在沙发上，“我们在训练一些更深层次的神经网络时，发现模型一旦超过一定的深度，反向传播算法中的梯度会逐渐趋近于零，根本无法有效更新权重。深度越大，梯度就越容易消失，整个网络的学习效率大幅下降。”
马库斯知道林枫硕士是麻省理工学院的计算机硕士，因此也就全都用专业术语表述了。
对于这些林枫当然能听明白，非但能听明白，而且作为一个资深的人工智能从业人员。
林枫也清楚知道马库斯面临的难题。
林枫对AI的发展也有所了解，涉及到梯度问题在2014年是深度学习研究中的一个巨大挑战。
甚至可以说解决不了梯度问题就很难有真正的深度学习，也就不会有后来的人工智能成果的一系列井喷。
林枫心说，自己这是一不小心站在了技术发展的最前沿了吗？
不得不说，这种举手投足之间就能影响时代命运的感觉是真的无比美妙。
“梯度消失的问题一直存在，尤其是深层网络。梯度爆炸倒是相对好解决，但梯度消失会直接导致学习过程停滞不前。”林枫沉思片刻，补充道，“这不仅是你们实验室的问题，也是整个领域的瓶颈。反向传播的基本原理决定了，当信号在网络中层层传递时，梯度的变化会以指数级缩小。”
马库斯脑海中泛起了大大的问号，梯度爆炸问题好解决吗？
他怎么觉得梯度爆炸问题也挺麻烦的？
不过聊天本来就是求同存异，既然林同样认为梯度消失难以解决就够了。
马库斯也没纠结为什么林说梯度爆炸容易解决，而是继续就梯度消失发表观点说道：“是啊，哪怕有了ReLU（修正线性单元）激活函数的引入，虽然能在一定程度上减轻梯度消失，但对深层网络还是不够。”
林枫想了想，说道：“你们有考虑过改进网络结构吗？”
喜欢不朽从二零一四开始请大家收藏：（www。aiquwx。com）不朽从二零一四开始
穿越六零年代开局当奶奶
简介关于穿越六零年代开局当奶奶女主白慧慧现代白骨精穿越1968年，直接升级当奶奶，看她带着空间在六零年代，搞事业，养崽日常，顺便把孙子孙女培养成了不起的人物。（女强无cp）...
30条短视频助星球避开天灾
晋江VIP20231024完结总书评数15082当前被收藏数57247文案网瘾女青年秦若最近有个苦恼，她手机上的短视频软件颤音突然变成了盗版软件视谶。谶，作预言之意，语言的预言称之为谶言，带图片的预言称之为图谶。所以短视频预言就是视谶？做盗版的还怪有文化的。秦若点击卸载，OK，卸不掉。秦若咬咬牙换了个新手机，OK，还是有这个软件。秦若脏话jpg秦若点进软件刷第一个视频哇哦，是国外某地海啸现场。时间，三天后。秦若我不信。秦若点进第二个视频哇哦，是娱乐圈某知名演员因重度塌房被捕，时间，五天后。秦若你猜我信不信？秦若刷到第三个视频某地某公交车因意外坠湖，十死十六伤，时间，七天后。秦若要不要脸啊，拿这种事唬人，死骗子！秦若怒而关掉软件，却不想三天后，国外某临海城市因海啸受灾五天后，知名演员因塌房被捕，对其罪行供认不讳秦若！！！秦若果断报警你好，我要上交我的手机！电话对面？蓝星历2089年，天灾一如既往的时有发生，整个世界总有一些地方陷入混乱。但不知从何时开始，有个国家渐渐不在此列中，他们似乎总能在天灾前转移群众，总能在大型事故前力挽狂澜，甚至还有余力关爱其他国家。他们有了更先进的科技，更先进的武器，更先进的航天器等等，是不是有哪里不对？蓝星其他国家你们是不是背着我们联系上了外星人？嘉国我们一如既往众志成城，人民至上，一切靠自己！感情线极少非无敌大佬型主角，主角前期跟随行动组，15章之后主角戏份少，不存在拖后腿行为。偏群像，纯架空。内容标签科幻末世升级流app预知群像主角秦若┃配角顾昂章林雪┃其它一句话简介预言手机当然是要选择上交啦！立意团结友爱，发展至上。作品简评普通公民秦若原本过着普通生活，某天手机里出现了能预知未来的APP后当机立断上交，然而当她想要回家时，警察同志很不好意思的告诉她，那个APP只有她在时才能打开，从此秦若从纸扎店小老板摇身一变成为基地成员。有了这个预言APP后种种天灾有了提前躲避的机会犯罪意外团伙作案，种种人祸也可以及时避免，由此引发了其他国家的关注，但同时也借由APP开始了星际时代。本文行文流畅优美，文字表述力强，家国情怀浓烈，各种天灾人祸在残酷的同时也不乏人文关怀，让人倍感温暖，而各种罪犯反派间谍的下场也让人身心舒畅，剧情发展合理，是值得看下去的群像佳作。...
真千金被偷人生，重生后冠绝京城
明锦这一世，被人抢了身份和名字，好不容易回到家，却遭家人厌弃未婚夫不喜，纵使最后得到了自己想要的，也落得一身伤痕累累。她在弥留之际向上苍祈求，若有来世，她再也不想过这样的一生。未想一朝醒来，她真的回到了过去。这一世，明锦再也不想要那些不属于她的东西，亲情也好爱情也罢，她不稀罕也不在乎了。可明锦没想到，她不再贪求这些东西的时候，那些曾经抛弃伤害她的人，却一个个哭着求她回头了。顾明珩我开始只是觉得这个小姑娘可怜，忍不住就想帮帮她，后来，我想把她护在我的羽翼之下，想与她并肩同行，我想告诉她，你可以不用怕，你可以随意哭，你可以想做什么就做什么。顾长玄那些尘封的记忆冲洗他的大脑时，他眼睁睁看着明锦头也不回地离开，原来他一直都爱她，可他知道，她再也不会回来了。...
修罗丹神
天刀魔神秦阳修为达到半步主宰，可痛失爱妻，冒着极大风险，他毅然动用轮回圣钟回到了少年时期。漂亮师姐成为护卫，极品富家千金成为侍女，强盛丹宗的丹女求着成为丫鬟。清纯圣女，娇媚魔女，帝国公主，精灵女皇，一个个倾国倾城的美人也纷纷缠着秦阳。秦阳一颗心却全在自己认定的妻子身上。可知道秦阳因为她死冒着极大风险重生归来，秦阳认定的妻子却强逼着他纳妾，收通房丫头。秦阳好为难！...
拯救世界也该让系统试试
简介关于拯救世界也该让系统试试一生兢兢业业的主系统aoo1在连续三届被评选为法则海最可怕的生物之后，得到了直属上司主神曙委婉的指派。众系统口中感觉是主神的走狗，任务者口中随时酝酿着邪恶计划，化名希桐的主系统接受了主神的任务，前来处理一个正在和修真世界融合的现代霸总文学小世界。本以为是家有儿女剧情的重组家庭，实际是堪比间谍过家家的马甲文主系统默默将自己从狗的位置换成了继弟。原作里性格别扭的继弟，染着银打了八个耳洞的鬼火少年，在性格大变，浪子回头后，好像不是人了。原作里白切黑的病娇深情男二，失踪的爸生病的爷爷破碎的家，在一朝黑化后，好像也不是人了。希桐把怀疑的目光看向原作的官配顾总，你不会也不是人吧？顾与归连连摆手别造谣，我祖上一百代就是猴子了。1本文虽使用了aBo设定，但基本不含有标记，腺体等衍生的情节，相关含量在百分之五以下2对于特殊称呼大部分采用现实世界的称呼，例如嫂子，弟妹等，不会进行特别的修改3本文较慢热，主设定是修仙现代，望读者朋友们保持耐心，可能会有后面和前面不是一个人写得的感觉（但确实是一个人写的，小编也觉得很奇怪）4感情线很少，官配曙...
精灵史前一万年
何晨醒来，发现自己来到了神奇宝贝的世界。但是老创你告诉我，这里为什么会是史前世界啊啊啊！！还有，我不吃！我不吃烤小拉达！饥肠辘辘的何晨忍不住闻了闻...