在上一篇文章中，介绍了BP神经网络的基本模型、模型中的一些术语并对模型进行了数学上的分析，对它的原理有了初步的认识。那么如何用程序语言来具体的实现它，将是我们下一步需要讨论的问题。本文选取的是C语言来实现一个简单的单隐藏层的BP神经网络（默认大家了解了BP神经网络的基本概念，本文中涉及到些术语参见上一篇  基本模型 ），因此对于其他C类语言（C#、JAVA等）只需对本文中的代码稍作修改即可移植。

 

   首先，我们介绍些下文中描述的程序里面的一些重要数据的定义。

  1. #define Data  820
  2. #define In 2
  3. #define Out 1
  4. #define Neuron 45
  5. #define TrainC 5500

      Data 用来表示已经知道的数据样本的数量，也就是训练样本的数量。In 表示对于每个样本有多少个输入变量; Out 表示对于每个样本有多少个输出变量。Neuron 表示神经元的数量，TrainC 来表示训练的次数。再来我们看对神经网络描述的数据定义，来看下面这张图里面的数据类型都是 double 型。

BP神经网络

 

图1

      d_in[Data][In] 存储 Data 个样本，每个样本的 In 个输入。d_out[Data][Out] 存储 Data 个样本，每个样本的 Out 个输出。我们用邻接表法来表示 图1 中的网络，w[Neuron][In]  表示某个输入对某个神经元的权重，v[Out][Neuron] 来表示某个神经元对某个输出的权重；与之对应的保存它们两个修正量的数组 dw[Neuron][In] 和 dv[Out][Neuron]。数组 o[Neuron] 记录的是神经元通过激活函数对外的输出，OutputData[Out]  存储BP神经网络的输出。

 

         在这里，先不考虑具体函数的执行细节，从大体上来介绍程序的执行过程。用伪代码来表示，具体的内容后面一步步介绍，如下：

  1. 主函数main{
  3. 　　　　读取样本数据 readData()；
  4.        初始化BP神经网络  initBPNework(){
  6.             包括数据的归一，神经元的初始化 w[Neuron][In]、v[Out][Neuron]等；
  7.         }
  8.         BP神经网络训练 trainNetwork(){
  9.             do{
  10.                 for（i 小于 样本容量 Data）{
  11.                     
  12. 　　　　　　　　　　　　计算按照第 i 个样本输入，产生的BP神经网络的输出 computO(i)；
  13.                     累记误差精度；
  14.                     反馈调节BP神经网络中的神经元，完成第 i 个样本的学习 backUpdate(i)；
  15.                 }
  16.             }while（达到训练次数 或者 符合误差精度）；
  17.         }
  19.         存储训练好的神经元信息  writeNeuron()；
  20.         用一些数据来测试，训练出来的BP神经网络的结果；
  21.         return 0；
  22. }

       以上是处理的流程，对于读取数据、保存数据之类的处理本文将略去这方面内容，突出主干部分。

 

      初始化主要是涉及两个方面的功能，一方面是对读取的训练样本数据进行归一化处理，归一化处理就是指的就是将数据转换成0~1之间。在BP神经网络理论里面，并没有对这个进行要求，不过实际实践过程中，归一化处理是不可或缺的。因为理论模型没考虑到，BP神经网络收敛的速率问题，一般来说神经元的输出对于0~1之间的数据非常敏感，归一化能够显著提高训练效率。可以用以下公式来对其进行归一化，其中 加个常数A 是为了防止出现 0 的情况（0不能为分母）。

       y=(x-MinValue+A)/(MaxValue-MinValue+A)

      另一方面，就是对神经元的权重进行初始化了，数据归一到了（0~1）之间，那么权重初始化为（-1~1）之间的数据，另外对修正量赋值为0。实现参考代码如下：

  1. void initBPNework(){
  3.     int i,j;
  4. 　　 /*
  5. 　　　　找到数据最小、最大值
  6. 　　　*/
  7.     for(i=0; i<In; i++){
  8.         Minin[i]=Maxin[i]=d_in[0][i];
  9.         for(j=0; j<Data; j++)
  10.         {
  11.             Maxin[i]=Maxin[i]>d_in[j][i]?Maxin[i]:d_in[j][i];
  12.             Minin[i]=Minin[i]<d_in[j][i]?Minin[i]:d_in[j][i];
  13.         }
  14.     }
  15.     for(i=0; i<Out; i++){
  16.         Minout[i]=Maxout[i]=d_out[0][i];
  17.         for(j=0; j<Data; j++)
  18.         {
  19.             Maxout[i]=Maxout[i]>d_out[j][i]?Maxout[i]:d_out[j][i];
  20.             Minout[i]=Minout[i]<d_out[j][i]?Minout[i]:d_out[j][i];
  21.         }
  22.     }
  23.     /*
  24. 　　　　归一化处理
  25. 　　　　*/
  26.     for (i = 0; i < In; i++)
  27.         for(j = 0; j < Data; j++)
  28.             d_in[j][i]=(d_in[j][i]-Minin[i]+1)/(Maxin[i]-Minin[i]+1);
  29.     for (i = 0; i < Out; i++)
  30.         for(j = 0; j < Data; j++)
  31.             d_out[j][i]=(d_out[j][i]-Minout[i]+1)/(Maxout[i]-Minout[i]+1);
  32.     /*
  33. 　　　　初始化神经元
  34. 　　*/
  35.     for (i = 0; i < Neuron; ++i)    
  36.         for (j = 0; j < In; ++j){    
  37.             w[i][j]=(rand()*2.0/RAND_MAX-1)/2;
  38.             dw[i][j]=0;
  39.         }
  40.     for (i = 0; i < Neuron; ++i)    
  41.          for (j = 0; j < Out; ++j){
  42.              v[j][i]=(rand()*2.0/RAND_MAX-1)/2;
  43.               dv[j][i]=0;
  44.          }
  45. }

      这部分应当说是整个BP神经网络形成的引擎，驱动着样本训练过程的执行。由BP神经网络的基本模型知道，反馈学习机制包括两大部分，一是BP神经网络产生预测的结果，二是通过预测的结果和样本的准确结果进行比对，然后对神经元进行误差量的修正。因此，我们用两个函数来表示这样的两个过程，训练过程中还对平均误差 e 进行监控，如果达到了设定的精度即可完成训练。由于不一定能够到达预期设定的精度要求，我们添加一个训练次数的参数，如果次数达到也退出训练。实现参考代码如下：

 

  1. void  trainNetwork(){
  2.     int i,c=0;
  3.     do{
  4.         e=0;
  5.         for (i = 0; i < Data; ++i){
  6.             computO(i);
  7.             e+=fabs((OutputData[0]-d_out[i][0])/d_out[i][0]);
  8.             backUpdate(i);
  9.         }
  10.         //printf("%d  %lf\n",c,e/Data);
  11.         c++;
  12.     }while(c<TrainC && e/Data>0.01);
  13. }

 

        其中的函数，computO(i) （O是output缩写）计算BP神经网络预测第 i 个样本的输出也就是第一个过程。backUpdate(i) 是根据预测的第 i 个样本输出对神经网络的权重进行更新，e用来监控误差。

　　  到这里，我们整体回顾来看，BP神经网络程序实现的骨架已经介绍完了，训练过程中核心的两个函数computO(i) 和 backUpdate(i) 的实现在下一篇再来分析，晚安。

 

版权声明：本文为jzhlin原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://www.cnblogs.com/jzhlin/archive/2012/07/30/bp_c.html