近年来深度神经网络(DNN)取得了令人瞩目的进步,但与人脑相比,DNN在信息处理的效率(速度和功耗)上表现仍不够好。在人脑中,信息以连续的方式快速处理,而DNN系统中所处理的是一幅幅静态图像,而且计算密集。
在传统DNN中,计算、存取数据时的“内存墙”问题,导致大量数据搬运中产生额外功耗以及延迟。此外,精确计算也是DNN的另一特征——即便是无价值的输入,也会全部参与计算,导致计算资源浪费且计算效率低。
相反,人脑中神经元以脉冲的形式进行信息传递。每当神经元发出脉冲信号时(被激活),脉冲信号会传输到所连接的神经元进行处理。若未能达到触发阈值,神经元则处于非激活状态,并且存储对过去输入的记忆,因此人脑采用的是一种稀疏的、空时域信息处理机制。
人脑作为一个极度优化的系统,在高并行工作时功耗仅为20W左右——大脑中约870亿个神经元高度非线性地工作,每个神经元在外部和内部都与其他神经元有多达10,000个连接,在内部承载着数十万个协调的并行过程。这样庞大的网络却有如此低的能耗,使得人类大脑在处理复杂问题时具有绝对优势。
如今,人工智能的发展主要依靠庞大的数据量和精确计算。在冯诺依曼架构下,庞大的数据量意味着计算机承担着频繁且大规模的运算,随之而来的就是功耗极速上升。随着各国碳中和脚步加快,高能耗甚至需要企业付出额外成本。尽管我国没有明确碳排放超标的惩罚措施,但庞大计算量产生的用电成本、维护成本就不是一般人工智能企业可以支付起的。因此,人工智能的“可持续发展”一定是建立在功耗成本可控的基础上。
如何将计算机的功耗控制在合理范围内呢?借鉴人脑特性自然成为研究人员共同关注的方向。
相比于当前最先进的系统,模仿大脑运行机制的硬件系统具有高效和低功耗特点。模仿大脑行为的神经网络被称为神经形态网络,其代表为脉冲神经网络(SNN),也是目前类脑研究的核心。这种被称为“第三代神经网络”的出现,可以弥合神经科学与机器学习之间的鸿沟,使用神经元模型进行信息编码和计算,借鉴生物脑稀疏的、空时域信息处理机制,充分发挥神经网络的效率。
模仿大脑神经结构和工作原理而创新出来的神经形态计算被称为类脑计算。欧洲的HBP(人脑计划)曾指出,“未来10-20年内,谁要引领世界经济,谁就必须在这个领域领先”。
积分充值
30积分
6.00元
90积分
18.00元
150+8积分
30.00元
340+20积分
68.00元
640+50积分
128.00元
990+70积分
198.00元
1640+140积分
328.00元
微信支付
余额支付
积分充值
应付金额:
0 元
请登录,再发表你的看法
登录/注册