什么是全连接神经网络
【摘要】 什么是全连接神经网络，怎么理解“全连接”？
对n-1层和n层而言
n-1层的任意一个节点，都和第n层所有节点有连接。即第n层的每个节点在进行计算的时候，激活函数的输入是n-1层所有节点的加权。
全连接是一种不错的模式，但是网络很大的时候，训练速度回很慢。部分连接就是认为的切断某两个节点直接的连接，这样训练时计算量大大减...
什么是全连接神经网络，怎么理解“全连接”？
对n-1层和n层而言
n-1层的任意一个节点，都和第n层所有节点有连接。即第n层的每个节点在进行计算的时候，激活函数的输入是n-1层所有节点的加权。
全连接是一种不错的模式，但是网络很大的时候，训练速度回很慢。部分连接就是认为的切断某两个节点直接的连接，这样训练时计算量大大减小
最简单的全连接神经网络demo，python：
-
#coding:utf-8
-
import numpy as np
-
#https://en.wikipedia.org/wiki/Backpropagation
-
#http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop.html
-
-
#4*3*2
-
-
speed = 1
-
-
def sigmoid(z):
-
"""The sigmoid function."""
-
return 1.0 / (1.0 + np.exp(-z))
-
-
def sigmoid_prime(z):
-
"""Derivative of the sigmoid function."""
-
return sigmoid(z) * (1 - sigmoid(z))
-
-
w1 = []
-
w1.append([])
-
w1[0].append(0.1)
-
w1[0].append(0.2)
-
w1[0].append(0.3)
-
w1.append([])
-
w1[1].append(0.11)
-
w1[1].append(0.22)
-
w1[1].append(0.33)
-
w1.append([])
-
w1[2].append(0.5)
-
w1[2].append(0.6)
-
w1[2].append(0.7)
-
w1.append([])
-
w1[3].append(0.55)
-
w1[3].append(0.66)
-
w1[3].append(0.77)
-
-
w2 = []
-
w2.append([])
-
w2[0].append(0.1)
-
w2[0].append(0.2)
-
w2.append([])
-
w2[1].append(0.3)
-
w2[1].append(0.4)
-
w2.append([])
-
w2[2].append(0.5)
-
w2[2].append(0.6)
-
-
W1 = np.array([
-
[w1[0][0],w1[0][1],w1[0][2]],
-
[w1[1][0],w1[1][1],w1[1][2]],
-
[w1[2][0],w1[2][1],w1[2][2]],
-
[w1[3][0],w1[3][1],w1[3][2]]
-
])
-
-
W2 = np.array([
-
[w2[0][0],w2[0][1]],
-
[w2[1][0],w2[1][1]],
-
[w2[2][0],w2[2][1]],
-
])
-
-
X = []
-
Y = []
-
-
X.append(np.array([1,1,1,1]))
-
Y.append([1,1])
-
-
X.append(np.array([-1,-1,-1,-1]))
-
Y.append([0,0])
-
-
X.append(np.array([1,1,-1,-1]))
-
Y.append([1,0])
-
-
X.append(np.array([-1,-1,1,1]))
-
Y.append([0,1])
-
-
for i in range(1,10000):
-
zs = []
-
activations = []
-
print X[i%4]
-
z1 = np.dot(W1.transpose(),X[i%4])
-
zs.append(z1)
-
a1 = sigmoid(z1)
-
activations.append(a1)
-
z2 = np.dot(W2.transpose(),a1)
-
zs.append(z2)
-
a2 = sigmoid(z2)
-
activations.append(a2)
-
print a2
-
error = []
-
error.append([])
-
error[0].append(Y[i%4][0] - a2[0])
-
error[0].append(Y[i%4][1] - a2[1])
-
error.append([])
-
-
error[1].append(error[0][0]*W2[0][0]+error[0][1]*W2[0][1])
-
error[1].append(error[0][0]*W2[1][0]+error[0][1]*W2[1][1])
-
error[1].append(error[0][0]*W2[2][0]+error[0][1]*W2[2][1])
-
-
W1[0][0] = sigmoid_prime(zs[0][0])*X[i%4][0]*error[1][0]*speed + W1[0][0]
-
W1[0][1] = sigmoid_prime(zs[0][1])*X[i%4][0]*error[1][1]*speed + W1[0][1]
-
W1[0][2] = sigmoid_prime(zs[0][2])*X[i%4][0]*error[1][2]*speed + W1[0][2]
-
-
W1[1][0] = sigmoid_prime(zs[0][0])*X[i%4][1]*error[1][0]*speed + W1[1][0]
-
W1[1][1] = sigmoid_prime(zs[0][1])*X[i%4][1]*error[1][1]*speed + W1[1][1]
-
W1[1][2] = sigmoid_prime(zs[0][2])*X[i%4][1]*error[1][2]*speed + W1[1][2]
-
-
W1[2][0] = sigmoid_prime(zs[0][0])*X[i%4][2]*error[1][0]*speed + W1[2][0]
-
W1[2][1] = sigmoid_prime(zs[0][1])*X[i%4][2]*error[1][1]*speed + W1[2][1]
-
W1[2][2] = sigmoid_prime(zs[0][2])*X[i%4][2]*error[1][2]*speed + W1[2][2]
-
-
W1[3][0] = sigmoid_prime(zs[0][0])*X[i%4][3]*error[1][0]*speed + W1[3][0]
-
W1[3][1] = sigmoid_prime(zs[0][1])*X[i%4][3]*error[1][1]*speed + W1[3][1]
-
W1[3][2] = sigmoid_prime(zs[0][2])*X[i%4][3]*error[1][2]*speed + W1[3][2]
-
-
W2[0][0] = sigmoid_prime(zs[1][0])*activations[0][0]*error[0][0]*speed + W2[0][0]
-
W2[0][1] = sigmoid_prime(zs[1][1])*activations[0][0]*error[0][1]*speed + W2[0][1]
-
-
W2[1][0] = sigmoid_prime(zs[1][0])*activations[0][1]*error[0][0]*speed + W1[1][0]
-
W2[1][1] = sigmoid_prime(zs[1][1])*activations[0][1]*error[0][1]*speed + W1[1][1]
-
-
W2[2][0] = sigmoid_prime(zs[1][0])*activations[0][2]*error[0][0]*speed + W1[2][0]
-
W2[2][1] = sigmoid_prime(zs[1][1])*activations[0][2]*error[0][1]*speed + W1[2][1]
文章来源: blog.csdn.net，作者：网奇，版权归原作者所有，如需转载，请联系作者。
原文链接：blog.csdn.net/jacke121/article/details/54981905
【版权声明】本文为华为云社区用户转载文章，如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论（0）