Kohonen自组织特征映射神经网络(环形和球面型网络)

Kohonen自组织特征映射人工神经网络(环形和球面型网络)

引言：生物系统的共同特征是具有在无导师的情况下，从其自然环境中得出规律，并且按照规律去做的能力。同样，自组织人工神经网络也是在无监督的情况下，从输入数据中找出有意义的规律来。Kohonen自组织特征映射(Self-Organizing Feature Mapping -- SOM）人工神经网络系统，是受视网膜皮层的生物功能的启发而提出来的，能像生物系统一样直接从周围环境中发现其结构、模式或特征，具有在网络输出层内按几何中心或特征进行聚类的独特性质。也就是说，在特征空间中具有较小的欧式距离的相近的特征将由SOFM的几何上相互接近的输出神经元产生输出响应。

人工神经网络的一个显著特点是它具有自组织、自学习和分布式存储信息的能力，即使在没有先验知识的前提下，网络在外部输入信号的作用下，经过不断地自学习与自组织，将外部环境的特征以及特征之间的相互联系以神经元之间的连接强度形式表达在网络之中，从而使得网络逐步熟悉外部环境，在网络中把输入特征分布式地存储起来。自组织、自学习阶段是神经网络积累经验和知识的初级学习阶段，自组织网络就是无监督学习网络，它通过学习能把外部相同或者相近的输入映射成输出节点域上拓扑意义下相同或相邻的响应节点。

Kohonen自组织特征映射人工神经网络是芬兰赫尔辛基大学教授Teuvo Kohonen于1981年提出的。按照网络输出节点的分布可分为直线型、环型、平面型和球面型。网络的学习结果使得相似的输入向量的响应节点在拓扑空间上也接近。在对网络的训练过程中随着时间的推移响应节点的邻域逐渐缩小，学习率也逐步减小，使得权重逐步趋于稳定。如果网络的输出节点分布在圆环或球面上，响应节点的邻域就不存在边界。网络的相似相近特性可对输入向量排序。自组织神经网络最大的优点是自适应权值，极大方便寻找最优解，但同时，在初始条件较差时，易陷入局部极小值。

自组织网络结构：Kohonen自组织特征映射人工神经网络，包括直线型、环型、平面型和球面型，是指网络输出节点的分布在直线上、环上、平面上、球面上。下图是环形网络示意图。环形网络的优点是输出节点首尾相连，没有端点和边界，响应节点的邻域也不受边界影响。输入节点的个数等于输入变量的个数，代表一次测量样本数据。网络只有两层，即输入层和输出层，每个输入节点到每个输出节点之间都有连接，其连接强度由权重表示，设输出节点个数为m，输入节点个数为n，从输入节点i到输出接点j的连接强度(权重)记为wji，j = 0, 1, …, m-1，i = 0, 1, …, n-1。

响应节点：响应节点是当输入向量激励时，引起输出节点响应的那个节点，这个节点距离输入向量最近。设响应节点为J0，输入向量维数为n，网络输出节点数为m，从输入节点i到输出节点j的网络连接权重为wji，输入向量为x = (x0, x1, …, xn-1)T，输入向量到输出节点j的距离为Dj，

那么，响应节点是距离最小的那个节点，即：

　　　　J0 = MIN{ Dj, j=0, 1, …, m-1 }

环形网络的邻域：环形网络相比直线网络和平面网络，其邻域没有边界，是首尾相连的。

设输出节点数目为m，响应节点为J0，R是邻域半径，那么响应节点的邻域为以下节点：

    J = (J0+k+m) mod m，k = -R，-R+1，…，0，...，R-1，R。

邻域响应函数(墨西哥帽函数)：

以下是取R=100，α=0.5，0.6666，1.0，1.5，2时的邻域响应函数图形:

权重学习方法：输入节点与输出节点之间的连接强度(权重)学习方案：

从输入节点i到输出节点j的连接强度(权重)为wji，在输出响应节点邻域内对应的权重进行修改，

    wji = wji + u(t)•f(j)•(xi - wji)

其中，xj是输入，i是响应节点I0的邻域内输出节点，也就是i的取值范围是I0的邻域。0<u(t)<1，是随时间逐步减小的学习率，f(i)是邻域响应函数(墨西哥帽函数)。邻域半径R也可以是随时间逐步减小的，记为R(t)。那么，我们可以假设它们按如下方式随时间改变：

     u(t) = 0.001 + 0.9*exp(-10*t/Tmax), t = 0～Tmax

t=Tmax/10, u(t)=0.33209；t=Tmax/2, u(t)=0.007064；t=Tmax, u(t)=0.0010408

邻域半径随时间改变：

R(t) = Rmin + Rd*exp(-10*t/Tmax), t=0～Tmax

Rmin=10, Rd=m（m是输出节点个数）

邻域响应函数也随时间变化，例如：

当t<Tmax/64，a=0.5；当t<Tmax/32，a=0.6；当t<Tmax/16，a=0.6666；当t<Tmax/8，a=1；当t<Tmax/4，a=1.5；当t<Tmax，a=2。

权重的Logistic变换：

在自组织网络的实际运用中，输出节点之间的竞争导致相近输入的响应节点也互相邻近，对应这些节点的权重（连接强度）也趋向于一类样本的中心（平均），有些节点的权重远离中心，设置发散，产生绝对值很大的权重值，所以在学习的过程中，需要限制权重值的范围如±10的8次方，这样不至于产生数值溢出错误。同时为了让学习过程继续能够修改，或者便于用图形的方式观察权重数值，不至于数据差异太大，需要对权重数值做S变换。假设训练数据样本分量的绝对最大值为A，那么变换函数为：

当x=A时，f(x)=0.9866；当x=-A时，f(x)=-0.9866

最后变换后输出为：y(x) = A*f(x)，这是对每个分量进行的变换。

自组织网络用于估值和分类：假如训练样本集的类别已知，那么可以用不同的数值来代表不同的分类，例如对于两类情况，用1代表一类，用-1代表另一类。相当于输入向量是自变量，输出分类值是因变量，此时，分类问题就是y=f(X)的估值问题。那么每个响应节点可以依据训练样本集的在该节点上的响应次数和输入对应的因变量值，求出平均因变量值，作为响应节点的响应值。对于未知分类的输入向量，它的响应节点对应的响应值即为估值或者分类值。

例如，用自组织网络来逼近下面函数。首先产生带有噪声污染的训练样本，然后用样本训练网络，最后对于新的未知输出值的样本执行估值。

球面网络的扩展：球面网络是指输出节点分布在球的表面上。球面没有边界，输出节点邻域可以全方位互抵达。

设有m个输出节点Node(i), i=0, 1, …, m-1，那么若响应节点是i0，可以计算该节点与其他结点的球面最短距离d(i)，将d(i)按由小到大顺序排列，得到d’(i)，设邻域半径为R，则邻域里包含的节点数目为N=2πR^2，Dmax=d’(m-1)是最长距离，邻域节点包含d’(0), d’(1), …, d’(N-1)，所对应的节点。对邻域的权重修改因子为：

a=[0.6666, 2] ， a是波形形态因子。

球面两点间的最短距离计算：

    A点： 纬度b1, 经度a1

    B点： 纬度b2, 经度a2

距离计算公式为：

    D = r*arcos[cos(b1)cos(b2)cos(a1-a2) + sin(b1)sin(b2)]

    arcos(x) = Atn(1/sqrt(-x*x+1)) + 2*atn(1.0)

参考文献：

[1] Kohonen,T. Self-organized formation of topographically correct feature maps. Biol. Cybern., Vol. 43, pp.59-69, 1982.
[2] Kohonen,T. Self-organization and Associative Memory. 3rd ed., Springer-Verlag, Berlin., 1989.
[3] Kohonen, T. Improved versions of learning vector quantizations, Int. Joint Conf. Neural Networks, Ⅰ, pp. 545-550, 1990(a).
[4] Kohonen, T. The self-organizing map. Proc. IEEE vol.78 No.9, 1464-1480, 1990(b).

联系作者：chengbowork@163.com

相关文章

多道信号分析软件系统
生物医学信号处理与分析软件系统设计
曲线拟合软件
离散小波变换用于信号滤波
多维特征参数机器学习软件
多维特征参数机器学习算法
Kohonen自组织特征映射神经网络(环形和球面形网络)
矩阵的三维图形显示软件
图片浏览软件工具
信号的样本熵序列计算
主成分分析(K-L变换)和信号的分解与合成(滤波)