《深度学习：卷积神经网络从入门到精通》——2.6　通用逼近定理

2.6　通用逼近定理

多层感知器是一种非常著名的人工神经网络模型，如果包含足够多的隐含神经元，那么即使只有一个隐含层，它所表达的输入输出映射在理论上也能够充分逼近任何一个定义在单位立方体上的连续函数。这就是通用逼近定理的核心内容[22-24]，其严谨的数学描述和表达如下。

令激活函数φ是一个非常数、有界且单调递增的连续函数。Im = [0, 1]m表示m维空间的单位超立方体，C(Im)表示Im上的连续函数空间。那么，给定任意连续函数f∈C(Im)和ε> 0，存在一个正整数n > 0，实常数αi, wij, bj(1≤i≤n, 1≤j≤m)，使得

（2.68）

对输入空间中的所有x1, x2, …, xm，满足

（2.69）