Hopfield神经网络
学习笔记，转载请注明出处，谢谢。
Hopfield – ANN
[TOC]
基础知识
李雅普诺夫稳定
定义
\(\forall x\in \R^n, \forall a\in A,\ \lim_{n\rightarrow\infty}d(f^n(x),f^n(a))=0\)， A为吸引子
[半]正/负定函数
- 正定：\(V:\R^n\rightarrow \R,\ V(0)=0,\ V(x)>0,\ \forall x\in V-\{0\}\)
- 负定：\(V:\R^n\rightarrow \R,\ V(0)=0,\ V(x)<0,\ \forall x\in V-\{0\}\)
- 半正定：\(V:\R^n\rightarrow \R,\ V(0)=0,\ V(x)\geq0,\ \forall x\in V-\{0\}\)
- 半负定：\(V:\R^n\rightarrow \R,\ V(0)=0,\ V(x)\leq0,\ \forall x\in V-\{0\}\)
自治系统平衡点
\(\dot{x}=f(x)\)
李雅普诺夫候选函数V
\(\dot{V}(x)=\nabla Vf(x)\)，若
- 在邻域$\mathcal$中，V为正定，时间导数为半负定，则有
稳定平衡点：
\(\dot{V}(x)\leq 0,\ x\in \mathcal{B}\)
- 在邻域$\mathcal$中，V为正定，时间导数为负定，则有
局部渐近稳定平衡点：
\(V(x)>0,\dot{V}(x)< 0,\forall x\in \mathcal{B}-\{0\}\)
- 在全域中，V为正定，时间导数为负定，则有
全域渐近稳定平衡点：
\(V(x)>0,\dot{V}(x)< 0,\forall x\in \R^n-\{0\},\ ||x||\rightarrow \infty\Rightarrow V(x)\rightarrow \infty\) （径向无界）
Hopfield网络计算图
Hopfield网络的能量函数
原型
即网络的一个李雅普诺夫函数，可以使得某一起始点迭代达到某一种平衡点。由统计热力学结论得来。
- 离散态：
\[
E(t)=-\frac{1}{2}X^T(t)WX(t)+X^T(t)T
\]
E(t)=-\frac{1}{2}X^T(t)WX(t)+X^T(t)T
\]
- 连续态：
\[
E(t)=-\frac{1}{2}V^TWV-I^TV+\sum^n_{j=1}\frac{1}{R_j}\int^{v_j}_0f^{-1}(v)dv
\]
E(t)=-\frac{1}{2}V^TWV-I^TV+\sum^n_{j=1}\frac{1}{R_j}\int^{v_j}_0f^{-1}(v)dv
\]
特点：当然有下界啦
特点
- 具有联想能力，可以将未知数据转化成已知进行分类
相较的平衡点函数
\(\dot{x}=f(Wx-T)\)，W为网络的连接，T为偏置，f为激励
Hopfield – ANN训练目标
根据能量函数调整参数，使得总体能量最低。具体方法：
- 直接解不等式
- 随机梯度下降
- 用已知的能量函数带入标准型求解
Hopfield – ANN求解方式
具有相似特征的始点迭代收敛，可以落入临近设定好的平衡点，迭代方式分为异步调整和同步调整，迭代过程是一个能量递减的过程
HNN类型
DHNN
- 全称：离散型Hopfield神经网络
特点
- 反自反性：自身到自身的权重是0
- 激励函数为阶跃函数或双极值函数
- 吸引子 * -1 也是吸引子
- 容纳的吸引子个数最多为结点个数
- 存在伪吸引子，需要计算海明距离归类
迭代方式
- 异步调整：W必须为对称阵
- 同步调整：W必须为非负定对称阵
CHNN
- 全称：连续型Hopfield神经网络
特点
- 激励函数为连续函数（如Sigmoid）
迭代方式
- $f^{-1}$为单调连续递增，W对称
©️ Copyrights.RSMX.GUILIN.2020-05-17
版权声明：本文为rsmx原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。