无监督的人工神经网络算法和技术

本文概述

• 自组织图
• 受限玻尔兹曼机

在无监督的人工神经网络中使用的技术和算法包括自组织映射, 受限的玻尔兹曼机器, 自动编码器等。

自组织图

自组织图是人工神经网络的基本类型, 其增长取决于无监督的学习程序和数据之间相似性的利用。自组织图受地形图计算图生物学启发, 而地形图是通过神经元的自组织来学习的。这种动机源自于如何将不同的输入组织到人脑的地形图中。与受监督的ANN不同, 自组织映射由无隐藏层的输入和输出神经元组成, 并且以仅激活其中一个输出神经元的方式进行开发。

它总结了竞争性学习, 这是所有输出神经元相互竞争的过程。此类比赛的获胜者被解雇, 称为获胜神经元。通过搜索具有权重集的输出神经元来表征其在输入空间中的坐标, 一种了解输出神经元之间竞争的方法是通过计算判别函数的值, 通常是它们之间的欧几里德距离与分量神经元的分量向量。当前样本输入。从位于晶格节点处的一组神经元中选择神经元, 将其转换为众多输入模式, 进行自我组织, 并在晶格结构上形成地形图。当提供输入信号时, 神经元的坐标在输入结构中显示统计表示。顾名思义, 自组织图提供了一种地形图, 可在内部描绘所提供输入的输入模式中的统计特征。

初始化, 竞争, 适应和合作是神经元自我组织的重要组成部分。在初始阶段, 随机选择的小值最初分配为输出神经元的权重。然后, 输出神经元将通过比较判别函数的值相互竞争。选择限制判别函数值的输出神经元作为获胜者, 并对其权重进行更新, 使其更接近当前观察值。获胜神经元附近的获胜神经元之间存在协作(以半径为特征), 因为不仅更新了其权重, 而且还更新了预定义邻域的权重, 获胜神经元朝着输入矢量获得了相对较高的更新。这种协作的灵感来自人脑中兴奋神经元组之间的横向连接。

相邻神经元接收到的更新权重是它们与获胜神经元之间的横向距离的函数, 最近和最远的神经元分别接受最高和最低权重更新。权重被更新以进行有效的无监督数据分类。其背后的数据是需要提高最匹配训练输入的单元之间的相似性。一个无向的图形模型, 通常被称为最佳匹配单元, 以及与输入相邻的模型。自组织映射算法中的五个阶段分别是采样, 初始化, 找到权重向量与输入向量最匹配的神经元, 更新获胜神经元的权重以及使用给定方程的邻域权重, 并返回采样阶段直到可以在特征图中实现ni(输入数量)级数。 Kohonen网络是一种自组织地图。

Δwji=ŋTjI(X)(t)(xi- wji)

图中显示了Kohonen网络特征图。自组织图人工神经网络通常用于聚类和类脑特征映射。它们适用于探索性数据, 统计, 生物医学, 财务, 工业和控制分析领域。

受限玻尔兹曼机

玻尔兹曼机器(BM)已作为假设处理单元的双向连接网络引入, 可以解释为神经网络模型。可以使用Boltzmann机器基于来自分布的样本来学习未知概率分布的重要方面。通常, 这种学习过程既困难又乏味。但是, 可以通过对网络拓扑施加限制来简化学习问题, 这导致我们使用受限的Boltzmann机器。受限BM是代表概率分布的生成模型。给定一些观察结果, 学习BM的训练数据意味着将BM参数更改为使得BM表示的概率分布适合训练数据。玻尔兹曼机器由两种类型的单元组成, 可见和隐藏的神经元, 可以分为两层。可见单位建立了主要层, 并对应于观测的组成部分。例如, 数字图像的每个像素有一个可见单位。在隐藏的单元中, 模型相关性位于观察的组件之间。例如, 图像中像素之间的依赖性。可以将它们视为非线性元素指标。

Boltzmann机器也可以看作是特定的图形模型, 更确切地说是无向图形模型, 也称为Markov随机场。将BM嵌入到概率图形模型的结构中, 可以快速访问大量的假设结果和完善的算法。计算无向模型的概率或其用于推理的梯度通常在计算上是全面的。因此, 基于采样的技术被用于估计概率及其梯度。从无向图形模型进行采样通常并不简单, 但是形式RBM Markov Chain Monte Carlo(MCMC)技术很容易以Gibbs采样的形式应用。

受限玻尔兹曼机(RBM)是与给定图中所示的两个无向图有关的马氏随机场(MRF)。它包括x个显示数据的可见单位V =(V1, …, Vx)和n个隐藏单位H =(H1, …, Hn)以捕获观察到的变量。在二进制RBM中, 我们对随机变量(V, H)的关注是值(V, H)∈{0, 1} x + n以及吉布斯分布P(V, H)给定的模型下的联合概率分布= 1 / z具有能量函数的eE(v, h)。

对于所有i∈{1, …, n}和j∈{1, …, x}, Wij是连接到单元Vj和Hi之间的边的实值权重, 而Bj和Ci是实数-分别连接到第j个可见变量和第i个隐藏变量的有值偏差项。

RBM的图在隐藏变量和可见变量的层之间只有一个关联, 而在相似层的两个变量之间没有关联。就概率而言, 这意味着在给定可见变量的状态的情况下, 隐藏变量是独立的, 反之亦然。

车载编码器：

自动编码器是一种神经网络, 准备尝试将其输入复制到其输出。在内部, 它具有一个隐藏层, 描绘了用于表示输入的代码。

自动编码器是具有非对称结构的ANN, 其中中间层表示输入数据的编码。自动编码器准备将其输入重构到输出层, 同时确认某些限制, 使他们无法与网络一起复制数据。尽管近来最流行术语”自动编码器”, 但它们也被称为自动关联神经网络, 空竹网络和复制器神经网络。

自动编码器的基本结构如下图所示。它包含一个输入p, 该输入p通过一个表示为函数F的编码器映射到编码b上。该编码被映射为一个利用解码器表示为函数Z的休闲r。

该结构被捕获在前馈神经网络中。由于目标是在输出层上重现输入数据, 因此p和r的维数相似。 p可以具有更高的尺寸或更低的尺寸, 具体取决于所需的属性。自动编码器还可以根据需要具有各种层, 通常对称地放置在编码器和解码器中。这种神经结构可以在下图中看到。