学习笔记,转载请注明出处,谢谢。

Hopfield – ANN


[TOC]

基础知识

李雅普诺夫稳定

定义

\(\forall x\in \R^n, \forall a\in A,\ \lim_{n\rightarrow\infty}d(f^n(x),f^n(a))=0\), A为吸引子

[半]正/负定函数

  • 正定:\(V:\R^n\rightarrow \R,\ V(0)=0,\ V(x)>0,\ \forall x\in V-\{0\}\)
  • 负定:\(V:\R^n\rightarrow \R,\ V(0)=0,\ V(x)<0,\ \forall x\in V-\{0\}\)
  • 半正定:\(V:\R^n\rightarrow \R,\ V(0)=0,\ V(x)\geq0,\ \forall x\in V-\{0\}\)
  • 半负定:\(V:\R^n\rightarrow \R,\ V(0)=0,\ V(x)\leq0,\ \forall x\in V-\{0\}\)

自治系统平衡点

\(\dot{x}=f(x)\)

李雅普诺夫候选函数V

\(\dot{V}(x)=\nabla Vf(x)\),若

  • 在邻域$\mathcal$中,V为正定,时间导数为半负定,则有

稳定平衡点

\(\dot{V}(x)\leq 0,\ x\in \mathcal{B}\)

  • 在邻域$\mathcal$中,V为正定,时间导数为负定,则有

局部渐近稳定平衡点

\(V(x)>0,\dot{V}(x)< 0,\forall x\in \mathcal{B}-\{0\}\)

  • 在全域中,V为正定,时间导数为负定,则有

全域渐近稳定平衡点

\(V(x)>0,\dot{V}(x)< 0,\forall x\in \R^n-\{0\},\ ||x||\rightarrow \infty\Rightarrow V(x)\rightarrow \infty\) (径向无界)

Hopfield网络计算图

fig1

Hopfield网络的能量函数

原型

即网络的一个李雅普诺夫函数,可以使得某一起始点迭代达到某一种平衡点。由统计热力学结论得来。

  • 离散态:
\[
E(t)=-\frac{1}{2}X^T(t)WX(t)+X^T(t)T
\]
  • 连续态:
\[
E(t)=-\frac{1}{2}V^TWV-I^TV+\sum^n_{j=1}\frac{1}{R_j}\int^{v_j}_0f^{-1}(v)dv
\]

特点:当然有下界啦

特点

  • 具有联想能力,可以将未知数据转化成已知进行分类

相较的平衡点函数

\(\dot{x}=f(Wx-T)\),W为网络的连接,T为偏置,f为激励

Hopfield – ANN训练目标

根据能量函数调整参数,使得总体能量最低。具体方法:

  • 直接解不等式
  • 随机梯度下降
  • 用已知的能量函数带入标准型求解

Hopfield – ANN求解方式

具有相似特征的始点迭代收敛,可以落入临近设定好的平衡点,迭代方式分为异步调整和同步调整,迭代过程是一个能量递减的过程

HNN类型

DHNN

  • 全称:离散型Hopfield神经网络

特点

  • 反自反性:自身到自身的权重是0
  • 激励函数为阶跃函数或双极值函数
  • 吸引子 * -1 也是吸引子
  • 容纳的吸引子个数最多为结点个数
  • 存在伪吸引子,需要计算海明距离归类

迭代方式

  • 异步调整:W必须为对称阵
  • 同步调整:W必须为非负定对称阵

CHNN

  • 全称:连续型Hopfield神经网络

特点

  • 激励函数为连续函数(如Sigmoid)

迭代方式

  • $f^{-1}$为单调连续递增,W对称

©️ Copyrights.RSMX.GUILIN.2020-05-17

版权声明:本文为rsmx原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://www.cnblogs.com/rsmx/p/12909826.html