DL之DNN：基于神经网络(从1层~50层)DNN算法实现对非线性数据集点进行绘制决策边界

DL之DNN：基于神经网络(从1层~50层)DNN算法实现对非线性数据集点进行绘制决策边界

目录

输出结果

设计代码

输出结果

设计代码

首先查看数据集

  

   

    

     

    
    

     

      import numpy as np
     
    
   

    

     

    
    

     

      from sklearn.datasets import make_moons  #make_moons数据集可以生成一些非线性数据点
     
    
   

    

     

    
    

     

      import matplotlib.pyplot as plt
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      # 手动生成一个随机的平面点分布，并画出来
     
    
   

    

     

    
    

     

      np.random.seed(0)
     
    
   

    

     

    
    

     

      X, y = make_moons(200, noise=0.20)
     
    
   

    

     

    
    

     

      plt.scatter(X[:,0], X[:,1], s=40, c=y, cmap=plt.cm.Spectral)
     
    
   

    

     

    
    

     

      plt.title('make_moons generating nonlinear data points')
     
    
   

    

     

    
    

     

      plt.show()
     
    
  
 

  

   

    

     

    
    

     

      #设计一个简单的人工神经网络：输入两个值，输出0或1，即第一类还是第二类，但DNN其实获得是概率，如属于0的概率是42% 。只包含一层隐藏层，即只对样本点做交集而不做并集
     
    
   

    

     

    
    

     

      #激活函数选择tanh函数，采用softmax分类器(LR的多分类)，并且用互熵损失作为损失函数。BP计算梯度采用SGD算法
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      num_examples = len(X) # 样本数
     
    
   

    

     

    
    

     

      nn_input_dim = 2 # 输入的维度
     
    
   

    

     

    
    

     

      nn_output_dim = 2 # 输出的类别个数
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      # 梯度下降参数
     
    
   

    

     

    
    

     

      epsilon = 0.01 # 学习率
     
    
   

    

     

    
    

     

      reg_lambda = 0.01  # 正则化参数
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      # 定义损失函数，以便使用梯度下降算法
     
    
   

    

     

    
    

     

      def calculate_loss(model):
     
    
   

    

     

    
    

     

       W1, b1, W2, b2 = model['W1'], model['b1'], model['W2'], model['b2'] #因为隐藏层有500个神经元，故b1是500维
     
    
   

    

     

    
    

     
 # 向前推进，前向运算
     
    
   

    

     

    
    

     

       z1 = X.dot(W1) + b1
     
    
   

    

     

    
    

     

       a1 = np.tanh(z1)
     
    
   

    

     

    
    

     

       z2 = a1.dot(W2) + b2
     
    
   

    

     

    
    

     

       exp_scores = np.exp(z2)
     
    
   

    

     

    
    

     

       probs = exp_scores / np.sum(exp_scores, axis=1, keepdims=True) #计算的属于哪一类的是概率
     
    
   

    

     

    
    

     
 # 计算损失
     
    
   

    

     

    
    

     

       corect_logprobs = -np.log(probs[range(num_examples), y])
     
    
   

    

     

    
    

     

       data_loss = np.sum(corect_logprobs)
     
    
   

    

     

    
    

     
 # 也得加一下L2正则化项
     
    
   

    

     

    
    

     

       data_loss += reg_lambda/2 * (np.sum(np.square(W1)) + np.sum(np.square(W2)))
     
    
   

    

     

    
    

     
 return 1./num_examples * data_loss
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      # 建立3个隐层的神经网络
     
    
   

    

     

    
    

     

      model = build_model(3, print_loss=True)
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      # 然后再把决策/判定边界画出来
     
    
   

    

     

    
    

     

      plot_decision_boundary(lambda x: predict(model, x))
     
    
   

    

     

    
    

     

      plt.title("Decision Boundary for hidden layer size 3")  #即是由500个神经元(段直线)，去交集得出的曲线
     
    
   

    

     

    
    

     

      plt.show()
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     
 
     
    
  
 

  

   

    

     

    
    

     

      # 然后观察不同的隐藏层个数(1, 2, 3, 4, 5, 20, 50)对结果的影响
     
    
   

    

     

    
    

     

      plt.figure(figsize=(16, 32))
     
    
   

    

     

    
    

     

      hidden_layer_dimensions = [1, 2, 3, 4, 5, 20, 50]
     
    
   

    

     

    
    

     

      for i, nn_hdim in enumerate(hidden_layer_dimensions):
     
    
   

    

     

    
    

     

       plt.subplot(5, 2, i+1)
     
    
   

    

     

    
    

     

       plt.title('Hidden Layer size %d' % nn_hdim)
     
    
   

    

     

    
    

     

       model = build_model(nn_hdim)
     
    
   

    

     

    
    

     

       plot_decision_boundary(lambda x: predict(model, x))
     
    
   

    

     

    
    

     

      plt.show()
     
    
  
 

相关文章推荐

DL之LoR&DNN：Neural_network_example绘制非线性数据集点的决策边界

文章来源: yunyaniu.blog.csdn.net，作者：一个处女座的程序猿，版权归原作者所有，如需转载，请联系作者。

原文链接：yunyaniu.blog.csdn.net/article/details/82155789