热门

最新

红包

立Flag

投票

同城

发布
universsky2015
AI天才研究院 人工智能领域优质创作者
1 年前
trueuniverssky2015

Backprop算法将误差信号（error signals）送入反馈连接（feedback connections），帮助神经网络调节突触强度——这个套路已经被老一辈的监督学习（supervised learning，也就是根据外界提供的“正确目标”所进行的学习）算法用得滚瓜烂熟。但与此同时，大脑中的反馈连接似乎有着不同的作用，且大脑的学习大部分都是无监督学习（在外界信息中找出其隐含的结构，并对之进行建模）。因此，自然会有人发问：backprop算法能不能告诉我们大脑是如何学习的呢？
虽然大脑与backprop之间存在诸多不同，但在本文中，我们想指出大脑有能力执行backprop中的核心算法。中心思想就是大脑能利用反馈连接来激发神经元活动，从而以局部计算出的误差值来编码“类反向传播的误差信号”（backpropagation-like error signals）。

在深度学习网络中，利用表现梯度进行学习的效果非常好。由此看来，也许调控大脑的千万个基因理应带着大脑的亿万个突触向着计算梯度的方向缓慢进化。
作者：Timothy P. Lillicrap, Adam Santoro, Luke Marris, Colin J. Akerman and Geoffrey Hinton

原文：
https://www.nature.com/articles/s41583-020-0277-3
https://doi.org/10.1038/s41583-020-0277-3

人工智能时代
评论
1
打赏
  • 复制链接
  • 举报
下一条：
大型语言模型在材料科学研究中的适用性观点。需要指出的是，我们对大型语言模型(Large Language Models，LLMs)的涌现性质仍然了解不足。但我们正在取得进展，结合在工具使用和检索式生成网络(Retrieval-Augmented Generation，RAG)中的所有发展，有更大的潜力。