摩尔定律失效怎么办?神经形态计算专家:把重点变成树突学习
1965 年,戈登・摩尔归纳了一条经验之谈:集成电路上可以容纳的晶体管数目大约每经过 18 个月到 24 个月就会增加一倍。换言之,处理器的性能大约每两年翻一倍。
这条经验之谈被称为「摩尔定律」,之后的四十年里,半导体芯片制造工艺确实以令人目眩的速度成倍提高。但近年来,摩尔定律的加倍效应已在放缓,甚至有人预言在不久的将来会失效。
业界纷纷提出各种方案应对这种发展瓶颈,来自斯坦福大学的神经形态工程师 Kwabena Boahen 最近提出了一种新思路:人工神经元应该模仿生物神经元的树突,而非突触。研究论文发表在《Nature》上。
论文地址:https://www.nature.com/articles/s41586-022-05340-6
当前,神经形态计算旨在通过模仿构成人脑的神经元和突触的机制来实现人工智能(AI)。人工神经网络反复调整连接神经元的突触,以修改每个突触的「权重」,即一个神经元对另一个神经元的影响强度,然后神经网络确定由此产生的行为模式是否更善于找到解决方案。随着时间的推移,系统会发现哪些模式最适合计算结果,并采用这些模式作为默认模式。
神经网络通常包含很多层神经元,例如 GPT-3 拥有 1750 亿个权重,连接相当于 830 万个神经元,深度为 384 层。随着神经网络规模和功能的不断增加,它们变得越来越昂贵和耗能。以 GPT-3 为例,OpenAI 花费 460 万美元让 9200 个 GPU 运行两周来训练这个大型模型。Kwabena Boahen 说:「GPT-3 在训练期间消耗的能量转化为碳排放相当于 1300 辆汽车。」
这也是 Boahen 提出神经网络下一步应该尝试数图学习的重要原因。模仿神经网络中的树突将增加传输信号中传达的信息量,让 AI 系统不再需要 GPU 云中的兆瓦级功率,在手机等移动设备上就可以支持运行。
树突可以大量分支,允许一个神经元与许多其他神经元连接。已有研究发现,树突从其分支接收信号的顺序决定了其响应的强度。
Boahen 提出的树突计算模型只有在接收到来自神经元的精确序列信号时才会做出反应。这意味着每个树突都可以编码数据,而不仅仅是 0/1 这样简单的电信号。基础系统将变得更加强大,这取决于它拥有的连接数量和接收到的信号序列的长度。
在实际构建方面,Boahen 提出用铁电 FET(FeFET)来模拟树突,具有 5 个栅极的 1.5 微米长的 FeFET 就可以模拟具有 5 个突触的 15 微米长的树突。Boahen 说,这种构建版本可能会在「3D 芯片」中实现。
感兴趣的读者可以阅读论文原文,了解更多研究细节。
参考链接:https://spectrum.ieee.org/dendrocentric-learning
相关文章
- 【技术种草】cdn+轻量服务器+hugo=让博客“云原生”一下
- CLB运维&运营最佳实践 ---访问日志大洞察
- vnc方式登陆服务器
- 轻松学排序算法:眼睛直观感受几种常用排序算法
- 十二个经典的大数据项目
- 为什么使用 CDN 内容分发网络?
- 大数据——大数据默认端口号列表
- Weld 1.1.5.Final,JSR-299 的框架
- JavaFX 2012:彻底开源
- 提升as3程序性能的十大要点
- 通过凸面几何学进行独立于边际的在线多类学习
- 利用行动影响的规律性和部分已知的模型进行离线强化学习
- ModelLight:基于模型的交通信号控制的元强化学习
- 浅谈Visual Source Safe项目分支
- 基于先验知识的递归卡尔曼滤波的代理人联合状态和输入估计
- 结合网络结构和非线性恢复来提高声誉评估的性能
- 最佳实践丨云开发CloudBase多环境管理实践
- TimeVAE:用于生成多变量时间序列的变异自动编码器
- 具有线性阈值激活的神经网络:结构和算法
- 内网渗透之横向移动 -- 从域外向域内进行密码喷洒攻击