马克斯普朗克研究所的科学家们设计了一种更节能的人工智能训练方法，利用神经形态计算中的物理过程。该方法与传统的数字神经网络不同，降低了能量消耗，优化了训练效率。该团队正在开发一种光学神经形态计算机来演示这项技术，旨在显著推进人工智能系统。
人工智能(ai)不仅提供令人印象深刻的性能，而且需要大量的能量。它承担的任务越复杂，消耗的能量就越大。来自德国埃尔兰根马克斯普朗克光科学研究所的科学家Víctor López-Pastor和Florian Marquardt已经开发出一种更有效的人工智能训练方法。他们的方法利用物理过程，与传统的数字人工神经网络不同。
负责开发GPT-3 (ChatGPT的动力技术)的Open AI公司没有透露训练这款先进且知识渊博的AI聊天机器人所需的能量。
根据德国统计公司Statista的数据，这将需要1000兆瓦时的电量——大约相当于200个三人以上的德国家庭每年的用电量。虽然这种能量消耗使GPT-3能够了解在其数据集中，单词“deep”后面是“sea”还是“learning”，但总的来说，它还没有理解这些短语的潜在含义。
神经形态计算机上的神经网络
为了减少计算机的能源消耗，特别是人工智能应用，在过去的几年里，一些研究机构一直在研究一个全新的概念，即计算机在未来如何处理数据。这个概念被称为神经形态计算。虽然这听起来类似于人工神经网络，但实际上与它们没有什么关系，因为人工神经网络是在传统的数字计算机上运行的。
这意味着软件，或者更准确地说是算法，是以大脑的工作方式为模型的，但数字计算机充当硬件。它们依次执行神经网络的计算步骤，区分处理器和存储器。
埃尔兰根大学教授、马克斯·普朗克光科学研究所所长弗洛里安·马夸特说:“当神经网络用高达1tb的数据训练数千亿参数(即突触)时，仅这两个组件之间的数据传输就消耗了大量的能量。”
人类的大脑是完全不同的，如果它的能量效率类似于带有硅晶体管的计算机，那么它可能永远不会在进化上具有竞争力。它很可能因为过热而失败。
大脑的特点是并行而不是顺序地进行思维过程的许多步骤。神经细胞，或者更准确地说是突触，既是处理器又是存储器的结合体。世界上各种各样的系统都被认为是神经形态与我们的神经细胞相对应的可能的候选者，包括利用光而不是电子来进行计算的光子电路。它们的组件同时充当开关和存储单元。
一个自我学习的物理机器可以独立地优化它的突触
弗洛里安·马夸特与马克斯·普朗克光科学研究所的博士生Víctor López-Pastor一起，设计了一种有效的神经形态计算机训练方法。
“我们已经开发了一个自我学习的物理机器的概念，”弗洛里安·马夸特解释说。“其核心思想是以物理过程的形式进行训练，通过过程本身优化机器的参数。”
当训练传统的人工神经网络时，需要外部反馈来调整数十亿突触连接的强度。
弗洛里安·马夸特说:“不需要这种反馈会让训练更有效率。”在自我学习的物理机器上实现和训练人工智能不仅可以节省能源，还可以节省计算时间。Florian Marquardt解释说:“我们的方法不管在自我学习机器中发生什么物理过程都有效，我们甚至不需要知道确切的过程。”“然而，这个过程必须满足几个条件。”
最重要的是，它必须是可逆的，这意味着它必须能够以最小的能量损失向前或向后运行。
“此外，物理过程必须是非线性的，这意味着足够复杂，”弗洛里安·马夸特说。只有非线性过程才能完成输入数据和结果之间的复杂转换。弹球在一个盘子上滚动而不与另一个盘子碰撞是线性运动。然而，如果它被另一个干扰，情况就变成非线性的。
光学神经形态计算机的实际测试
在光学中可以找到可逆的非线性过程的例子。事实上，Víctor López-Pastor和Florian Marquardt已经在与一个实验团队合作开发一种光学神经形态计算机。这台机器以叠加光波的形式处理信息，由合适的组件调节相互作用的类型和强度。研究人员的目标是将自我学习物理机器的概念付诸实践。
Florian Marquardt说:“我们希望能够在三年内推出第一台自我学习的物理机器。”到那时，应该会有比现在更多的突触和更大的数据量来训练的神经网络。
因此，在传统的数字计算机之外实现神经网络，并用训练有素的神经形态计算机取代它们的愿望可能会更大。这位物理学家说:“因此，我们相信，自我学习的物理机器很有可能被用于人工智能的进一步发展。”
参考文献:“基于哈密顿回声反向传播的自学习机器”，作者:Víctor López-Pastor和Florian Marquardt, 2023年8月18日，物理评论X. DOI: 10.1103/PhysRevX.13.031020SHARE推特REDDIT电子邮件共享
以前的文章
更多关于sciitechdaily
生物学
科学
空间
物理
空间
科学
健康
生物学
