他们如何改正。例如:“a,下次收集数据时,应该更侧重x方面;b,分析逻辑应该调整y参数。”
这个“告诉”的过程就是参数更新,通常使用梯度下降算法:新参数=旧参数-学习率责任分数(梯度)。
下一次做报告时,团队就会表现得更好。反复多次,团队(神经网络)就会越来越出色。
这就是反向传播的全内容。
“反向传播?”
路明非看着上面的话语,虽然他看懂了,也知道这只不过是一个反复往前归因的过程,但是怎么看都是一个非常繁杂的神秘知识!
老唐也看傻了,哥们高中肄业,你给我整这?
“有没有一种可能,托子哥你说的这个不是中文,而是某些小众语种。”老唐呢喃自语道。
“正经中国人谁说这些啊!”老唐嘶吼。
路明非怒吼:“你也不是中国人吧!”
路明非:“……”
老唐:“……”
现场一片寂静。
而林托的意识进入到眼前的屏幕之后,效率可谓是比语音输入还要快上许多倍,他的思维所到之处,哪里就是文本的书写。
“反向传播的数学心脏是微积分中的链式法则。它解决了如何将最终输出的误差,高效地分摊给网络中成千上万个参数的问题。”
“神经网络是一个由许多复合函数嵌套组成的复杂函数。”
“损失函数衡量的是输出与目标的差异。”
“我们想知道的是:‘损失函数关于每一个权重参数的变化率是多少?’(即梯度)。”
“链式法则允许我们从输出层开始,一层一层地、递归地将误差梯度向后传递,直到最初的输入层。每一层只需要计算局部梯度,然后乘以从后面传过来的梯度即可。”
“这个过程之所以强大,是因为它避免了对每个参数进行单独、重复的复杂计算,而是用系统化的方式一次算出所有参数的梯度,效率极高。”
“……”
林托呢喃自语,声音无比轻灵,像是光里柔和的天使,又像是慈悲的神明。
路明非和老唐顿时意识到这玩意儿是天阶功法,没准他们两个之后还有可能会用到,顿时露出了欣喜若狂的神色。
而林托这边倒也不是完全依靠着自己的想法来,而是跟随着正向传播的定义来进行理解。
正向传播即就是从输入到隐藏层到输出。