关联内存网络

本文概述

联想记忆的工作
联想记忆模型
关联内存模型的网络架构

关联存储器网络是指一种内容可寻址存储器结构, 其将输入模式集和输出模式集之间的关系关联起来。内容可寻址存储器结构是一种存储器结构, 其能够基于输入模式与存储在存储器中的模式之间的相似度来进行数据的回收。

让我们通过一个例子来理解这个概念：

下图显示了一个包含各个人姓名的记忆。如果给定的存储器是内容可寻址的, 则不正确的字符串” Albert Einstein”作为键足以恢复正确的名称” Albert Einstein”。

在这种情况下, 由于这种类型的内存模型和某种形式的纠错功能, 这种类型的内存是健壮且容错的。

注意：关联存储器是通过其内容获得的, 与传统计算机存储器系统中的显式地址相邻。存储器能够基于对信息内容的不完全了解来对信息进行收集。

关联存储器有两种类型：自动关联存储器和异类关联存储器。

自动关联记忆：

自动关联存储器恢复与当前模式最密切相关的先前存储的模式。它也被称为自动关联相关器。

假设x [1], x [2], x [3], …..x [M]是存储的模式向量的数量, 而x [m]是这些向量的元素, 表示从模式。当放置x [m]的嘈杂或不完整版本时, 自动联想记忆将产生模式向量x [m]。

异联想记忆：

在异类关联存储器中, 恢复的模式通常不仅在类型和格式上而且在内容上都与输入模式不同。它也称为异质关联相关器。

考虑我们有许多键响应对{a(1), x(1)}, {a(2), x(2)}, ….., {a(M), x(M)}。当给出a(m)的嘈杂或不完整版本时, 异种联想存储器将给出模式向量x(m)。

神经网络通常用于实现这些称为神经联想记忆(NAM)的联想记忆模型。线性联想是最简单的人工神经联想记忆。

这些模型遵循独特的神经网络架构来存储数据。

联想记忆的工作

联想记忆是某种形式的联想模式的存储库。如果存储库是由某个模式触发的, 则相关的模式对将出现在输出中。输入可以是存储模式的精确或部分表示。

如果使用输入模式(例如可以说α)生成存储器, 则关联模式ω将自动恢复。

这些是与关联内存网络相关的术语：

编码或记忆：

编码或记忆是指建立关联记忆。这意味着构造关联权重矩阵w, 使得当给出输入模式时, 恢复与输入模式连接的存储模式。

(我们)k =(pi)k(qj)k

其中

(Pi)k表示模式pk的第i个分量, 并且

(qj)k表示模式qk的第j个分量

其中

strong> i = 1, 2, …, m, j = 1, 2, …, n。

关联权重矩阵w的构建是通过添加各个相关矩阵wk来完成的, 即

其中α=构造常数。

错误和噪音：

输入模式可能包含错误和噪声, 或者可能包含某些先前编码模式的不完整版本。如果出现损坏的输入模式, 则网络将恢复与实际输入模式相邻的存储模式。噪声或错误的存在只会导致绝对降低, 而不会导致网络效率的全面降低。因此, 由于许多处理单元执行高度并行和分布式计算, 因此关联存储器具有鲁棒性且没有错误。

绩效指标：

为使关联存储器性能更正恢复而采取的措施是存储器容量和内容寻址能力。内存容量可以定义为可以存储并正确恢复的关联模式对的最大数量。内容寻址能力是指网络恢复正确的存储模式的能力。

如果输入模式相互正交, 则可以实现完美的恢复。如果存储的输入模式不相互正交, 则可能会由于模式之间的交叉而导致无法完全恢复。

联想记忆模型

线性关联器是最简单且使用最广泛的关联存储模型。它是一组简单的处理单元的集合, 这些单元具有相当复杂的集体计算能力和行为。 Hopfield模型计算其输出, 该输出会及时返回, 直到系统变得稳定为止。 Hopfield网络是使用双极单元和学习过程构建的。 Hopfield模型是John Hopfield在1982年提出的一种自动联想记忆。双向联想记忆(BAM)和Hopfield模型是另一些流行的用作联想记忆的人工神经网络模型。

关联内存模型的网络架构

神经联想记忆模型采用各种神经网络架构来存储数据。该网络包括单层或两层。线性关联器模型是指前馈型网络, 由两层不同的处理单元组成-第一层充当输入层, 另一层充当输出层。 Hopfield模型是指单层处理元素, 其中每个单元与给定网络中的每个其他单元相关联。双向关联存储器(BAM)模型与线性关联器相同, 但是关联是双向的。

描绘了这些给定模型的神经网络架构以及关联存储器的相应关联权重矩阵w的结构。

线性关联器模型(两层)：

线性关联器模型是前馈型网络, 其中产生的输出采用单前馈计算的形式。该模型包括两层处理单元, 一层作为输入层, 另一层作为输出层。输入通过一系列权重直接与输出关联。带有砝码的连接将每个输入链接到每个输出。在每个神经元节点中确定权重与输入的乘积之和。线性关联器的架构如下。

通过关联的权重矩阵, 所有p个输入单位与所有q个输出单位关联

W = [wij] p * q其中, wij描述第i个输入单元与第j个输出单元的单向关联的强度。

连接权重矩阵存储z个不同的关联模式对{(Xk, Yk); k = 1, 2, 3, …, z}。构造关联存储器是在建立连接权重矩阵w, 使得如果呈现输入模式, 则将恢复与输入模式关联的存储模式。