《Nature Communications》：人工神经网络领域取得新进展！

原创材料科学与工程材料科学与工程

在模式分类和学习等任务中，人工神经网络已经证明了其优于传统计算架构的优越性。然而，它们无法测量预测中的不确定性，因此，它们可能在高置信度下做出错误的预测，这对许多关键任务应用程序是有害的。相比之下，贝叶斯神经网络(bnn)的模型中自然包含了这种不确定性，因为权重由概率分布(如高斯分布)表示。

在此，来自美国宾夕法尼亚州立大学的Amritanand Sebastian & Saptarshi Das等研究者，介绍了基于二维材料的三端记忆晶体管，它可以模拟概率突触和可重构神经元。相关论文以题为“Two-dimensional materials-based probabilistic synapses and reconfigurable neurons for measuring inference uncertainty using Bayesian neural networks”发表在Nature Communications上。

论文链接：

https://www.nature.com/articles/s41467-022-33699-7

近年来，由于人工神经网络(ANNs)的发展，机器学习取得了前所未有的发展和成功。通过模仿生物神经结构并采用深度学习算法，人工神经网络在图像分类、面部识别、数据挖掘、天气预报和股票市场预测等任务中显示出了明显优于标准计算方法的优势。虽然人工神经网络具有较高的性能，特别是在预测精度方面，但由于它们没有对不确定性建模，因此缺乏泛化性，常常会出现过拟合的问题。为了减少人工神经网络中的过拟合，经常需要使用大型数据集和各种正则化技术。然而，这可能会限制人工神经网络在数据稀缺的应用程序中的使用。此外，不确定性估计在自动驾驶和医疗诊断等应用中也很重要，在这些应用中，机器学习必须辅以不确定性感知模型或人为干预。概率计算范式与神经网络的集成允许正则化，并使人们能够在预测中建模不确定性。这是在贝叶斯神经网络(BNNs)中通过将贝叶斯定理引入传统神经网络方案来实现的。BNNs能够对不确定性建模并避免过拟合，同时能很好地处理小数据集。事实上，BNNs是非常强大的，因为它们代表了一个集合模型，这相当于许多ANNs的组合，但参数很少。与神经网络中突触权值为点估计(单值)不同，在神经网络中，权值(W)由概率分布表示，如图1所示。

图1 人工神经网络(ANN)与贝叶斯神经网络(BNN)的比较。

多年来，人们见证了神经网络加速器的发展，旨在提高神经网络的大小、能耗和速度，特别是在边缘计算应用方面。由于神经网络的训练过程是能量和资源密集型的，这些工作通常依赖于片外训练和片上推理。因此，BNN加速器也主要专注于在芯片上实现贝叶斯推理。BNN加速器的一个关键组件是一个基于片上高斯随机数生成器(GRNG)的突触，它可以从高斯分布中取样权重。此外，BNN需要一个电路来实现一个神经元，即执行乘法和累积(MAC)操作和神经激活。基于Si互补金属氧化物半导体(CMOS)和现场可编程门阵列(FPGA)的BNN实现通常需要复杂的硬件来实现GRNGs、MAC操作和激活功能，导致它们的面积和能源效率低下。此外，这些演示基于von-Neumann体系结构，具有独立的内存和逻辑单元，需要在两者之间频繁地传输数据。基于新兴和非冯·诺依曼忆性和自旋电子突触的BNN加速器利用周期到周期的转换变异性来生成高斯随机数(GRNs)。然而，这些基于GRNG的突触的平均值(μ)为0，标准差(σ)为1，需要大量基于CMOS的外围电路来获得不受限制的μ和σ值。例如，使用乘法和加法操作将N(0,1)转换为N(μ，σ) = σ * N(0,1)+μ。最后，双端忆阻也缺乏模拟神经元激活功能的能力。因此，BNNS的能量和面积效率加速将受益于一个独立的硬件平台，它可以提供神经突触功能和可编程的随机性。

在此，研究者介绍了基于二维(2D)单层MoS₂和WSe₂的三端记忆晶体管技术，提供了BNN加速器所需的所有计算基元。首先，研究者通过利用MoS₂ 记忆晶体管中编程/擦除操作的周期到周期的可变性，实现了一个超低功耗的基于GRNG的突触。接下来，利用由两个记忆晶体管组成的电路，研究者实现了可重构的μ和σ。利用n型MoS₂和v掺杂p型WSe₂ 记忆晶体管的集成，还实现了双曲正切(tanh)和sigmoid等激活函数。最后，为了实现片上BNN推理，研究者演示了一个交叉棒阵列架构。此外，使用LTSpice模拟整个网络，并执行不确定性分解以识别不确定性的各种来源。

图2 可编程记忆晶体管。

图3 使用MoS₂ 记忆晶体管的高斯随机数发生器(GRNG)。

图4 基于GRNG的突触和修饰的tanh激活功能。

图5 交叉棒阵列架构实现BNN。

这项工作展示了BNN加速器所需的计算基元的发展，使用二维记忆晶体管。MoS₂ 记忆晶体管编程中的周期到周期的变化被利用为随机性的来源，由两个这样的记忆晶体管组成的电路被用于获得超低功耗和随机突触，它允许从具有可重构均值和标准差的高斯分布中采样正负权。研究者还开发了基于MoS₂和WSe₂ 记忆晶体管集成的改进双曲正切和sigmoid激活函数的电路。此外，研究者将这些组件集成到一个交叉棒阵列架构中，以执行高效的MAC操作，研究者开发了一个BNN电路来执行片上推理，对PIMA Indians数据集进行分类，并通过电路模拟评估其性能。最后，研究者还进行了不确定性分解，以识别不确定性的各种来源。（文：水生）

本文来自微信公众号“材料科学与工程”。欢迎转载请联系，未经许可谢绝转载至其他网站。

推荐阅读：

欢迎微信后台回复“应聘编辑”加入我们

实用！Origin软件使用经典问题集锦

免费下载：18款超实用软件轻松搞科研

合作投稿点击此处

Er1gF7PbJUGeb2rznpW3zw==.jpg

欢迎留言，分享观点。点亮在看