Hopfield神经网络
Hopfield – ANN
[TOC]
基础知识
李雅普诺夫稳定
定义
\(\forall x\in \R^n, \forall a\in A,\ \lim_{n\rightarrow\infty}d(f^n(x),f^n(a))=0\), A为吸引子
[半]正/负定函数
- 正定:\(V:\R^n\rightarrow \R,\ V(0)=0,\ V(x)>0,\ \forall x\in V-\{0\}\)
- 负定:\(V:\R^n\rightarrow \R,\ V(0)=0,\ V(x)<0,\ \forall x\in V-\{0\}\)
- 半正定:\(V:\R^n\rightarrow \R,\ V(0)=0,\ V(x)\geq0,\ \forall x\in V-\{0\}\)
- 半负定:\(V:\R^n\rightarrow \R,\ V(0)=0,\ V(x)\leq0,\ \forall x\in V-\{0\}\)
自治系统平衡点
\(\dot{x}=f(x)\)
李雅普诺夫候选函数V
\(\dot{V}(x)=\nabla Vf(x)\),若
- 在邻域$\mathcal$中,V为正定,时间导数为半负定,则有
稳定平衡点:
\(\dot{V}(x)\leq 0,\ x\in \mathcal{B}\)
- 在邻域$\mathcal$中,V为正定,时间导数为负定,则有
局部渐近稳定平衡点:
\(V(x)>0,\dot{V}(x)< 0,\forall x\in \mathcal{B}-\{0\}\)
- 在全域中,V为正定,时间导数为负定,则有
全域渐近稳定平衡点:
\(V(x)>0,\dot{V}(x)< 0,\forall x\in \R^n-\{0\},\ ||x||\rightarrow \infty\Rightarrow V(x)\rightarrow \infty\) (径向无界)
Hopfield网络计算图
Hopfield网络的能量函数
原型
即网络的一个李雅普诺夫函数,可以使得某一起始点迭代达到某一种平衡点。由统计热力学结论得来。
- 离散态:
E(t)=-\frac{1}{2}X^T(t)WX(t)+X^T(t)T
\]
- 连续态:
E(t)=-\frac{1}{2}V^TWV-I^TV+\sum^n_{j=1}\frac{1}{R_j}\int^{v_j}_0f^{-1}(v)dv
\]
特点:当然有下界啦
特点
- 具有联想能力,可以将未知数据转化成已知进行分类
相较的平衡点函数
\(\dot{x}=f(Wx-T)\),W为网络的连接,T为偏置,f为激励
Hopfield – ANN训练目标
根据能量函数调整参数,使得总体能量最低。具体方法:
- 直接解不等式
- 随机梯度下降
- 用已知的能量函数带入标准型求解
Hopfield – ANN求解方式
具有相似特征的始点迭代收敛,可以落入临近设定好的平衡点,迭代方式分为异步调整和同步调整,迭代过程是一个能量递减的过程
HNN类型
DHNN
- 全称:离散型Hopfield神经网络
特点
- 反自反性:自身到自身的权重是0
- 激励函数为阶跃函数或双极值函数
- 吸引子 * -1 也是吸引子
- 容纳的吸引子个数最多为结点个数
- 存在伪吸引子,需要计算海明距离归类
迭代方式
- 异步调整:W必须为对称阵
- 同步调整:W必须为非负定对称阵
CHNN
- 全称:连续型Hopfield神经网络
特点
- 激励函数为连续函数(如Sigmoid)
迭代方式
- $f^{-1}$为单调连续递增,W对称
©️ Copyrights.RSMX.GUILIN.2020-05-17